Liquid AI 发布 LFM2.5-VL-DSpark 草稿模型,为 LFM2.5-VL-3B 加速视觉语言推理
Liquid AI 发布实验性 DSpark 草稿模型 LFM2.5-VL-DSpark,为视觉语言模型 LFM2.5-VL-3B 加入投机解码路径,设备端解码最高提速 3.13x、H100 上 2.66x,端到端最高提升 2.62x 和 2.27x。该草稿模型仅增加 280M 参数(约 8.9%),并首日支持 llama.cpp、MLX-VLM 和 SGLang。
Liquid AI 发布实验性 DSpark 草稿模型 LFM2.5-VL-DSpark,为视觉语言模型 LFM2.5-VL-3B 加入投机解码路径,设备端解码最高提速 3.13x、H100 上 2.66x,端到端最高提升 2.62x 和 2.27x。该草稿模型仅增加 280M 参数(约 8.9%),并首日支持 llama.cpp、MLX-VLM 和 SGLang。
oMLX 作者兼维护者 Jun Kim 加入 Hugging Face,全职投入 MLX 社区建设。oMLX 将从副业转为有资金支持的正式项目,仍保持 Apache 2.0 开源协议并由 Jun 继续领导,目标是提升稳定性并加快开发。Hugging Face 计划让 oMLX 成为新想法的试验场,并推动 transformers 模型定义快速转为可被不同引擎使用的 MLX 参考实现。
Hugging Face 为 transformers 加入 GGUF 支持,用户可从 Hub 选取 GGUF 检查点,用 from_pretrained 传入 gguf_file 即可在本地生成,无需额外配置。
推荐理由:Hugging Face 官方说明 transformers 接入 GGUF 的加载方式与性能对比,可据此判断本地推理工作流的变化。