Property Finder 修正评测偏差并优化模型选型

Property Finder 发现，其评估标签中有 96.8% 直接来自现有视觉语言模型的预测，未经人工核验，导致任何替代模型在比较中都结构性处于劣势。团队重新人工标注 356 张 UAE 图像，改用多标签分类，并通过从 v0 到 v27 的进化式提示词优化，在 Amazon Bedrock 上完成模型选型，最终实现准确率提升、成本降低 86%。 上述成本与准确率数字是截至 2025 年 12 月美国东部（俄亥俄）区域的估算；Llama 4 Maverick 17B Instruct 的成本按每张图像 9,000 输入 token、200 输出 token 计算。评估集包含 256 张开发图像，两个模型的提示词都在这些图像上调整过，因此报道称相关分数偏乐观。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。