跳到正文
原文
Hugging Face Blog·AI 评分22

GPU 管理:为什么闲置 GPU 是新的停飞飞机

GPU Management: Why Idle GPUs Are the New Grounded Aircraft

AI 导读

Hugging Face 博客指出,AI 的下一个真正瓶颈是 GPU 利用率而非智能水平。GPU 按日历小时产生融资、折旧、电力和冷却成本,却只按计算小时产出,因此两家 GPU 预算相当的公司会因利用率差异而拉开差距。企业自购 GPU 本地部署可把按 token 线性增长的 API 成本换成固定资本支出,但集群上线后的问题变成如何让硬件保持忙碌。

来源:Hugging Face Blog · huggingface.co