Hugging Face Blog·· 10 小时前精选AI 评分62
AI2 发布 Olmo-core 3：面向大型 MoE 的开源可扩展训练框架
Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
AI 导读
AI2 发布 Olmo-core 3，这是其大模型开发框架的一次重大升级，核心是重新设计的开源 MoE 训练系统，目标是把 MoE 训练扩展到万亿参数级别并保持计算效率。
推荐理由
原文给出 MoE 训练栈的吞吐与显存实测数据，读者可据此判断万亿参数 MoE 训练的工程门槛变化。
来源：Hugging Face Blog · huggingface.co