Qwen Blog·· 2025-01-28精选AI 评分78
Qwen2.5-Max 发布:超 20 万亿 token 预训练的大规模 MoE 模型
Qwen2.5-Max: Exploring the Intelligence of Large-scale MoE Model
AI 导读
Qwen2.5-Max 是预训练超过 20 万亿 token 的大规模 MoE 模型,并经过 SFT 与 RLHF 后训练,现已在 Qwen Chat 上线并通过阿里云提供 API,模型名为 qwen-max-2025-01-25。
推荐理由
原文给出 Qwen2.5-Max 的预训练规模与多项基准对比,读者可据此判断大规模 MoE 路线的能力位置。
来源:Qwen Blog · qwenlm.github.io