NVIDIA Blog· Vishal Ganeriwala·· 16 天前精选AI 评分60
NVIDIA 发布 DSX 平台：固定电力预算下 token 吞吐提升 24%
From Megawatts to Tokens: How NVIDIA Maximizes AI Factory Production
AI 导读
NVIDIA 在 AI Infra Summit 上介绍其 DSX 平台，用于在固定电力预算内提升 AI 工厂的 token 吞吐。云厂商 Lambda 在 HGX B200 服务器上验证 DSX MaxLPS，用 19 个节点跑出与 16 节点满功耗相同的电力预算，集群 token 吞吐提升 24%，从约每秒 400 万 token 增至 500 万，每瓦性能提升 23%。
推荐理由
原文给出 DSX 各组件在真实部署中的验证数据，读者可据此判断固定电力预算下的算力调度空间。
来源：NVIDIA Blog · blogs.nvidia.com