Tavily News Discovery·· 23 小时前AI 评分62
Inferact 与浪潮信息围绕 Kimi K3 做算子融合,推理提速 3 倍
AI自己榨干算力!让Kimi K3自己写「超级算子」,推理快了3倍 - 智源社区
AI 导读
Inferact 开源 TPU Megakernels,把 Kimi K3 的 92 个 MoE 层写进同一个程序,在 16 颗谷歌 TPU v7 上开着投机解码达到 709 tokens/s,同规模 16 块英伟达 GB200 用 vLLM 跑是 452 tokens/s,从零编译不到 90 秒。
来源:Tavily News Discovery · hub.baai.ac.cn