你不需要长上下文

中文速览

长对话和海量输入会让大模型越来越慢、占更多显存，也更贵，但它们是否真需要一直记住所有内容并不清楚。研究者在多种编程、工具使用和长文档问答任务中，频繁压缩对话记录，并让模型按需查找原始资料，而不是把全部历史和材料塞进上下文。结果显示，保持上下文较短时，任务准确率几乎不受影响；即使模型每次只执行一个动作，长流程软件工程任务也没有明显崩溃。削短上下文有望大幅降低推理成本、提升速度，也说明未来的模型和智能体或许不必依赖超长上下文。

摘要

摘要。后续令牌的生成成本高于前序令牌。在前沿开放权重模型上，成本差异可能增至 7 倍。通过频繁进行上下文压缩，我们表明，在广泛的长时程任务和长输入任务中，前沿语言模型在维持较短上下文时几乎不会牺牲任务准确率。我们进一步证明，即使每个上下文最多只执行一个动作，大语言模型（LLM）在长时程软件工程任务上的性能也不会崩溃，并据此概述语义状态空间模型（SSSMs）的概念。我们的研究结果对长上下文语言模型的必要性提出质疑。

Abstract. Later tokens are costlier to generate than earlier tokens. On frontier open weight models, the disparity in cost may rise to as much as 7x. Through frequent compaction, we show across a broad range of long-horizon and long-input tasks that frontier language models sacrifice little to no task accuracy when maintaining short contexts. We further demonstrate that LLM performance does not collapse on long-horizon software engineering tasks even when taking at most one action per context, and based on that we outline the concept of semantic state space models (SSSMs). Our findings question the need for long-context language models.

术语表

frontier open-weight models

前沿开放权重模型

token generation

令牌生成

context

上下文

context window

上下文窗口

context window size

上下文窗口大小

long-context language models

长上下文语言模型

language model (LM)

语言模型（LM）

large language model (LLM)

大语言模型（LLM）

long-horizon task

长时程任务

long-input task

长输入任务

context compaction

上下文压缩

semantic state space models (SSSMs)

语义状态空间模型（SSSMs）

inference step

推理步骤

input context

输入上下文

output context

输出上下文

agentic workflow

智能体工作流

agent turn

智能体轮次

context-management strategy

上下文管理策略

execution regime

执行机制

selective input reading

选择性输入读取

tool call

工具调用

thinking trace

思维轨迹

inter-token latency

令牌间延迟

throughput

吞吐量

memory footprint

内存占用

quantization

量化

structured sparsification

结构化稀疏化

post-training

后训练