o3モデルは、ChatGPTを支える大規模言語モデルに続く最新のAIリリースです。「これはAI能力の驚くべき飛躍であり、GPTファミリーのモデルでは見られなかった新しいタスク適応能力を示しています」と、ARCチャレンジの主要創作者であるフランソワ・ショレによるブログ投稿には記されています。

ARCチャレンジは、AIがカラーグリッドのペアを結びつける正しいパターンを見つける能力をテストするために2019年に設計されました。これらの視覚パズルは、基本的な推論能力を持つ一般的な知能の一形態を示すことを目的としています。

オープンAIによれば、o3モデルは2025年初頭にリリース予定であり、ARCチャレンジの公式得点は75.7パーセントで、これは公のリーダーボードでの競争相手のランキングに使用されます。この成果にかかった計算コストは各視覚パズルタスクあたり約20ドルで、合計で1万ドル未満と競技の制限を満たしていました。しかし、さらに難易度の高い「プライベート」テストでの最高賞受賞者を決定するための計算力制限は厳格で、一つのタスクあたり10セント以内でなければなりませんでした。

実際、o3モデルは非公式には87.5パーセントのスコアを達成しましたが、これは公式スコアの約172倍の計算力を使用した結果でした。一般的な人間のスコアは84パーセントであり、85パーセントのスコアを獲得すればARCチャレンジの60万ドルの最高賞を獲得可能ですが、o3は必要なコスト制限を満たせずにいました。

ARCチャレンジの主催者たちは、競争基準に打ち勝ったからといってAGIを達成したことを示すものではないと明言しています。また、o3は100以上の視覚パズルタスクを解決できなかったと報告されており、その多くは簡単に見えるものでした。

今後、ARCチャレンジの主催者たちは、2025年に第二回のより難易度の高い基準テストを実施する予定であり、最高賞を達成し、解答をオープンソース化するまでこのチャレンジを続ける考えです。