Qwen Blog·· 2024-03-28精选AI 评分65
Qwen1.5-MoE-A2.7B 发布：激活 2.7B 参数对标 7B 模型
Qwen1.5-MoE: Matching 7B Model Performance with 1/3 Activated Parameters
AI 导读
Qwen 团队发布 MoE 模型 Qwen1.5-MoE-A2.7B，仅激活 2.7B 参数，性能对标 Mistral 7B、Qwen1.5-7B 等 7B 模型。
推荐理由
原文给出 MoE 架构细节与训练成本、推理吞吐的对比数据，可据此判断小激活参数模型的效率取舍。
来源：Qwen Blog · qwenlm.github.io