跳到正文
原文
Qwen Blog·· 2024-11-15精选AI 评分75

Qwen2.5-Turbo 将上下文扩展至 1M tokens

Extending the Context Length to 1M Tokens!

AI 导读

Qwen2.5-Turbo 发布,上下文长度从 128k 扩展到 1M,约合 100 万英文单词或 150 万汉字。该模型在 1M 长度的 Passkey Retrieval 任务上准确率 100%,RULER 得分 93.1,超过 GPT-4 的 91.6 和 GLM4-9B-1M 的 89.9。

推荐理由

原文给出上下文从 128k 扩展到 1M 的实测数据与推理加速幅度,可据此判断长文本场景的可用边界。

来源:Qwen Blog · qwenlm.github.io