量子位· 鹭羽·· 11 小时前AI 评分60
何恺明团队提出NAT-ARC:用ImageNet预训练做纯视觉ARC推理
何恺明团队新作:看猫片就能学会ARC挑战
AI 导读
何恺明团队提出NAT-ARC,一套不依赖LLM的纯视觉ARC解题方案,用ImageNet上的MAE预训练encoder,再迁移到抽象格子推理。表现最好的单模型为0.6B参数,在ARC-1上取得63.4% pass@2,集成后达70.2%,总参数量约2B。论文发现预训练打通了视觉路线的scaling瓶颈,此前无预训练时模型从large到huge反而掉点。
来源:量子位 · qbitai.com