大模型上下文管理的思考
- 1 min在大模型的时代，我们面临的一个重大挑战是如何有效地管理上下文，以及如何优化大模型使用外部API或者说AI Chain（带有LLM能力的工作流）的能力。这两个因素对于构建高效的人工智能系统至关重要。
OpenAI和传统的ReAct所采取的一种策略是将内外空间统一起来。这种方法的优点在于其概念简洁，理念明确。然而，它的缺点也显而易见：在需要处理多任务的场景中，由于内外空间的共享，可能导致中间内容过长，从而引发遗忘或混乱的问题。事实上，这可能就是为什么我们现在看到的GPT 4只能单独选择使用某个外部API的能力，或者说代码解释能力，或者之前存在的浏览功能，而无法同时处理它们。
面向未来，我们需要探索的一条可能的路径是更复杂，也更具挑战性，即对每个AI Chain的执行进行精细化管理。在这种理念下，每个执行者都应该有明确的目标，我们应该通过一定的结构对其进行封装，让其在内部管理自己的执行空间和上下文，并与整个系统的上下文保持互通。这将为我们提供一个强大的基础，可以更好地管理每个任务的状态，对每次调用进行审查，并在不同的外部API和AI链之间进行切换。
这种方法的复杂性在于，它要求我们对每个外部API或AI Chain的执行环境和目标有深入的理解，同时还需要我们构建一个能够在这些不同环境和目标之间进行高效切换的系统。尽管这项任务具有很大的挑战性，但我们相信，只有这样，我们才能充分利用大模型的潜力，为未来的人工智能系统铺平道路。