AWS发布TTS自动扩缩容参数实测推导教程

AWS Machine Learning Blog 发布教程，介绍在 Amazon SageMaker AI 实时端点上部署 8200 万参数的 TTS 模型 Kokoro-82M，用实测的单实例最高并发 Q_max 和一次扩容端到端耗时 T_total 推算扩容阈值、缩容阈值与两个冷却时间，替代凭猜测设定自动扩缩容目标。 教程给出的 Q_max=50、T_total=320 秒仅适用于 Kokoro-82M 跑在 ml.g5.xlarge 上的情况，换模型或实例类型数值会不同。运行扩容测量前，需在 ml.g5.xlarge 服务配额中预留至少一个高于基线的空闲槽位。 教程同时提示，示例容器固定使用较早版本的 PyTorch，存在已知安全公告 PYSEC-2026-2286（在 torch 2.10.0 中修复），非概念验证用途前应先检查并升级该版本。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。