跳到正文
原文
Kimi 官方 Blog·AI 评分39

Kimi 开源 WorldVQA:评测多模态大模型视觉世界知识

WorldVQA

AI 导读

Kimi 团队开源 WorldVQA 基准,用于评测多模态大模型对视觉世界知识的掌握是否真实,而非仅凭视觉模式产生幻觉。该数据集包含 3500 组图像-问题对,覆盖 9 大类,并区分常见与长尾知识,前沿模型在长尾视觉知识上准确率常低于 50%。Kimi-K2.5 在置信度校准上表现最佳,ECE 为 37.9%、Slope 为 0.550,但所有评测模型均明显过度自信。

来源:Kimi 官方 Blog · kimi.com