文本之外的能力：视觉理解、图文混合、音视频输入输出的模型与产品进展。
原文发布 6月26日 22:00
Qwen 发布统一多模态理解与生成模型 Qwen VLo，预览版可通过 Qwen Chat 访问，支持直接文生图和上传图片后按指令修改。该模型采用从左到右、从上到下的渐进式生成方式，支持中英文等多语言指令，可完成风格迁移、背景替换、文字编辑以及检测、分割、边缘提取等任务。官方表示多图输入和极端宽高比生成尚未正式上线，模型仍处预览阶段，存在生成不准确、不遵循指令等不足。
推荐理由：原文给出统一理解与生成模型的预览入口和能力边界，读者可据此判断多模态生成的实际可用程度。
原文发布 5月7日 20:00
Mistral AI 发布 Mistral Medium 3，称其在多项基准上达到 Claude Sonnet 3.7 的 90% 以上，价格为每百万 token 输入 0.4 美元、输出 2 美元。
推荐理由：官方给出 Mistral Medium 3 的定价、对标模型与部署门槛，可据此判断企业自部署的成本与可行性。
原文发布 4月26日 08:00
Kimi 发布开源音频基础模型 Kimi-Audio-7B，在单一框架内统一处理语音识别、音频理解、音频描述、情感识别、声事件分类和端到端语音对话等任务。模型基于 Qwen 2.5 7B 初始化，预训练数据超过 1300 万小时音频与文本，采用连续声学向量加离散语义 token 的混合输入和并行文本与音频 token 生成头。
推荐理由：原文给出开源音频基础模型的架构、13M 小时预训练规模和多项基准对比，读者可据此判断统一音频处理框架的当前水平。
原文发布 4月10日 08:00
Kimi 发布开源 MoE 视觉语言模型 Kimi-VL，语言解码器仅激活 2.8B 参数，支持 128K 上下文和原生分辨率视觉编码器 MoonViT。基于长 CoT SFT 与 RL 的 Kimi-VL-Thinking 在 MMMU 得 61.7、MathVista 得 71.3。
推荐理由：原文给出 Kimi-VL 系列在激活参数仅 2.8B 下的多模态与长上下文成绩，可对照同量级 VLM 的能力边界。
原文发布 3月28日 00:00
Qwen 正式发布视觉推理模型 QVQ-Max 的首个版本，可理解图像和视频内容并进行分析推理，覆盖数学题、代码、创作等场景。官方称通过调整模型思考过程的最大长度，其在 MathVision 多模态数学基准上的准确率持续提升。后续将聚焦更准确的观察、可操作手机或电脑的视觉 Agent 以及工具验证、视觉生成等交互方式。
推荐理由：官方给出 QVQ-Max 的视觉推理能力定位与后续路线，读者可据此判断多模态推理模型的当前边界。
原文发布 3月27日 00:00
Qwen 团队发布端到端全模态模型 Qwen2.5-Omni，可处理文本、图像、音频和视频输入，并以流式方式同时输出文本与自然语音。该模型采用 Thinker-Talker 架构，并提出 TMRoPE 位置嵌入来同步视频与音频时间戳，支持分块输入和即时输出的实时交互。
推荐理由：原文给出 Thinker-Talker 架构与实时语音视频交互能力，读者可据此判断端到端全模态模型的落地方式。
原文发布 3月24日 00:00
Qwen 团队以 Apache 2.0 许可开源 Qwen2.5-VL-32B-Instruct，在 Qwen2.5-VL 系列基础上用强化学习继续优化。
推荐理由：官方给出 32B 视觉语言模型的基准对比与演示案例，可据此判断同规模开源多模态模型的当前水平。
原文发布 3月17日 20:00
Mistral AI 发布 Mistral Small 3.1，在 Mistral Small 3 基础上提升文本性能与多模态理解，上下文窗口扩展至 128k tokens，推理速度达 150 tokens/秒，采用 Apache 2.0 许可。
推荐理由：官方给出 Mistral Small 3.1 在文本、多模态与长上下文上的具体提升和部署门槛，便于判断其端侧可用性。
原文发布 3月7日 01:00
Mistral AI 发布光学字符识别 API Mistral OCR，可接收图片和 PDF，按顺序交错输出文本与图像，并支持将文档作为提示词生成 JSON 等结构化结果。
推荐理由：官方给出 Mistral OCR 的定价、基准对比与自托管选项，可据此判断多模态文档解析的选型与成本。
原文发布 1月26日 19:08
Qwen 发布新一代旗舰视觉语言模型 Qwen2.5-VL，并开源 3B、7B、72B 的 base 与 instruct 版本，可在 Hugging Face 和 ModelScope 获取。
推荐理由：原文给出 Qwen2.5-VL 三个尺寸的开源权重与视觉智能体、长视频理解等能力变化，便于读者判断多模态模型的可选范围。
原文发布 11月26日 08:00
腾讯混元推出新一代视觉语言旗舰大模型 hunyuan-turbo-vision，采用全新的混合专家模型（MoE）结构。相比前一代模型，其在图文理解相关的基础识别、内容创作、知识问答、分析推理等能力上全面提升。
推荐理由：原文给出混元新一代视觉语言旗舰模型的架构与能力提升方向，可了解其与前代在图文理解上的差异。
原文发布 8月29日 00:24
Qwen2-VL 发布，这是 Qwen 系列基于 Qwen2 的新版视觉语言模型，开源 Qwen2-VL-2B 和 Qwen2-VL-7B（Apache 2.0），并开放 Qwen2-VL-72B 的 API。
推荐理由：原文给出 Qwen2-VL 的视觉理解基准表现、开源规格与视频、智能体能力，读者可据此判断多模态选型。
原文发布 8月9日 16:18
Qwen 团队发布 Qwen2-Audio，这是 Qwen-Audio 的下一代音频语言模型，可接受音频和文本输入并生成文本输出。它首次支持无需 ASR 模块的语音对话，并能按文本指令分析语音、声音和音乐，支持中文、英语、粤语、法语等 8 种以上语言和方言。
推荐理由：官方给出 Qwen2-Audio 的语音对话与音频分析能力、开源权重和调用示例，读者可据此判断音频语言模型的实际用法。
原文发布 1月25日 13:33
Qwen 团队发布 Qwen-VL-Plus 和 Qwen-VL-Max 两个升级版视觉语言模型，在图像推理、细节识别与文字提取上均有提升，支持百万像素以上高清图和任意宽高比输入。
推荐理由：官方给出 Qwen-VL-Plus 与 Max 的基准对比和开放入口，可据此判断多模态模型在中文图文任务上的位置。
原文发布 12月24日 14:54
Qwen 团队发布 Chinese CLIP，采用两阶段预训练方法将 CLIP 迁移到中文，使用 LAION-5B 中文部分、Wukong 等公开数据集，图文对总量达 2 亿。
推荐理由：原文给出两阶段预训练方法和跨模态检索对比结果，读者可据此了解中文 CLIP 的迁移路径与数据构成。
原文发布 11月14日 16:01
Qwen 团队提出 OFA（One-For-All），一个统一理解与生成任务的统一多模态预训练模型，采用基于指令的多任务预训练，并开源了预训练和微调模型。OFA 统一了模态、架构和任务，用 VQ token 表示图像、用 bins 离散化边界框，预训练涵盖 8 个任务，包括视觉定位、图像描述、VQA、图文匹配、检测、图像补全和文本补全。
推荐理由：原文给出 OFA 的统一框架设计与 5 个尺寸的开源模型，读者可据此了解多模态统一模型的早期技术路线。