核心观点
上下文不是越多越好。无关信息会稀释注意力,真正重要的是把决策所需的最小充分信息放在模型最容易看到的位置。
三个可执行做法
- 把结论性约束放在开头和结尾,中间放材料。
- 长材料先做结构化摘要,再让模型基于摘要推理。
- 工具返回的结果及时裁剪,不要让原始日志无限堆积。
还没想清楚的部分
多轮对话里,什么时候该压缩历史、什么时候该保留原文,目前还是靠具体任务试出来的。
上下文不是越多越好。无关信息会稀释注意力,真正重要的是把决策所需的最小充分信息放在模型最容易看到的位置。
多轮对话里,什么时候该压缩历史、什么时候该保留原文,目前还是靠具体任务试出来的。