Context window 的经济学

随着 context window 越来越大，一个新的工程问题出现了：**context 的经济学**。 在固定成本下，应该怎么分配 context： - 放更多历史对话 - 放更多检索结果 - 放更详细的系统 prompt - 放用户提供的文档 不同分配的 ROI 不同，而且随任务变化。 一个反直觉的观察：有时候放更少但更相关的信息，效果反而比塞更多检索结果好。 本质上是信号噪声比的问题。当前的模型在长 context 里注意力分散的问题还没完全解决。