Qwen Blog·· 2024-04-25精选AI 评分72
Qwen1.5-110B 发布：Qwen1.5 系列首个千亿参数级模型
Qwen1.5-110B: The First 100B+ Model of the Qwen1.5 Series
AI 导读
Qwen1.5 系列发布首个 100B+ 模型 Qwen1.5-110B，采用与同系列一致的 Transformer 解码器架构，包含分组查询注意力（GQA），支持 32K token 上下文和多语言。
推荐理由
官方给出 Qwen1.5-110B 与 Llama-3-70B、Mixtral-8x22B 的基准对比，可据此判断百亿级开源模型的规模扩展收益。
来源：Qwen Blog · qwenlm.github.io