Kimi 官方 Blog·AI 评分39
Kimi 开源 WorldVQA:评测多模态大模型视觉世界知识
WorldVQA
AI 导读
Kimi 团队开源 WorldVQA 基准,用于评测多模态大模型对视觉世界知识的掌握是否真实,而非仅凭视觉模式产生幻觉。该数据集包含 3500 组图像-问题对,覆盖 9 大类,并区分常见与长尾知识,前沿模型在长尾视觉知识上准确率常低于 50%。Kimi-K2.5 在置信度校准上表现最佳,ECE 为 37.9%、Slope 为 0.550,但所有评测模型均明显过度自信。
来源:Kimi 官方 Blog · kimi.com