Kimi 官方 Blog·精选AI 评分62
Kimi 发布 MoBA：面向长上下文 LLM 的块注意力混合方法
MoBA: Mixture of Block Attention for Long-Context LLMs
AI 导读
月之暗面（Kimi）发布 MoBA（Mixture of Block Attention），将 MoE 思路引入注意力机制，把完整上下文划分为块，让每个 query token 学习只关注最相关的 KV 块，并采用无参数的 top-k 门控机制。
推荐理由
MoBA 把 MoE 思路引入注意力机制，并已用于 Kimi 长上下文请求，读者可了解长序列计算的一种新路径。
来源：Kimi 官方 Blog · github.com