DeepSeek开源推理引擎DeepInfer
热点事件持续更新
DeepSeek开源推理引擎DeepInfer
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
DeepSeek 在 GitHub 开源了推理引擎 DeepInfer,即 DeepSeek-V4.1-Flash 背后的推理引擎,包含 MoE 专家并行、异步 Batch 调度、定制 Kernel 和推测解码等技术。 目前 DeepInfer 开放的只是离线推理能力,线上 KV Cache 存储和跨副本负载均衡等组件尚未完整公开;当前公开版本也主要面向 DeepSeek-V4.1-Flash,完整线上服务所需的部分基础设施仍未开放。
AI 根据报道生成 · 2 小时前更新
最新进展10月29日 22:14
DeepSeek 开源推理引擎 DeepInfer,单集群日处理约 155 万亿 Token报道时间线
沿着报道,了解事件的不同侧面。
10月29日
- 雷峰网DeepSeek 开源推理引擎 DeepInfer,单集群日处理约 155 万亿 Token
DeepSeek 在 GitHub 开源推理引擎 DeepInfer,即 DeepSeek-V4.1-Flash 背后的推理引擎,包含 MoE 专家并行、异步 Batch 调度、定制 Kernel 和推测解码等技术。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。