让 AI 成为资产而非开支:HPE 谈 AI 从按 token 消费转向自有算力
HPE 提出,当 AI 从试验走向客服、IT、研究等常驻生产工作负载,按 token 消费的模式会让支出变成难以预测的月度变动项,企业需按工作负载判断是否转向自有算力。
HPE 提出,当 AI 从试验走向客服、IT、研究等常驻生产工作负载,按 token 消费的模式会让支出变成难以预测的月度变动项,企业需按工作负载判断是否转向自有算力。
伯克利 EPIC Data Lab 提出,随着推理成本从 2023 年初 GPT-4 级约 $30/百万 token 降至如今不到 $1、部分厂商低于 $0.10,数据系统需应对三大新挑战:为智能体服务、由智能体运行、由智能体构建。其中智能体查询会产生大量重复子计划,在 text-to-SQL 基准上仅 10-20% 子计划不同,80-90% 属重复工作,可通过多查询优化与近似查询处理加以利用。
伯克利 AI 研究团队梳理了并行推理领域进展,指出当前多数方法(如 Self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink、Hogwild!