Skip to content
Open
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
2 changes: 1 addition & 1 deletion docs/chapter9/第九章 上下文工程.md
Original file line number Diff line number Diff line change
Expand Up @@ -45,7 +45,7 @@ pip install "hello-agents[all]==0.2.8"

## 9.2 为什么上下文工程重要

尽管模型的速度越来越快、可处理的数据规模越来越大,但我们观察到:LLM 和人类一样,在一定点上会“走神”或“混乱”。针堆找针(needle-in-a-haystack)类基准揭示了一个现象:<strong>上下文腐蚀(context rot)</strong>——随着上下文窗口中的 tokens 增加,模型从上下文中准确回忆信息的能力反而下降。
尽管模型的速度越来越快、可处理的数据规模越来越大,但我们观察到:LLM 和人类一样,在一定点上会“走神”或“混乱”。大海捞针(needle-in-a-haystack)类基准揭示了一个现象:<strong>上下文腐蚀(context rot)</strong>——随着上下文窗口中的 tokens 增加,模型从上下文中准确回忆信息的能力反而下降。

不同模型的退化曲线或许更平滑,但这一特征几乎在所有模型上都会出现。因此,<strong>上下文必须被视作一种有限资源,且具有边际收益递减</strong>。就像人类有有限的工作记忆容量一样,LLM 也有一笔“注意力预算”。每新增一个 token,都会消耗这笔预算的一部分,因此我们更需要谨慎地筛选哪些 tokens 应该被提供给 LLM。

Expand Down