Post by Itaru Tomita

AIコーディングエージェントはNature論文の最高スコア（SOTA）を超えられるか（https://arxiv[.]org/abs/2606.24530）。NatureBenchはこの問いを初めて定量的に調べた本格ベンチマークだ。 Nature系10誌から5,500本を収集し、自動パイプラインで90タスクへ絞り込む。元論文の手法は「情報ファイアウォール」で隠されるため、エージェントは論文を参照せず自力で解法を発見しなければならない。 Claude Opus 4.7・GPT-5.5・Gemini 3.5 Flashなど10モデルを評価した結果が厳しい。最強のClaude Opus 4.7でもSOTA超えは17.8%、SOTA以上（Match-SOTA）は47.8%にとどまり、最弱のMiniMax-M2.7はSOTA超えわずか1.1%だ。 失敗の内訳が興味深い。全失敗の61.1%はメソッド層（うち45.1%が手法の選択ミス）、28.7%が実行層（計算予算・時間不足）で、タスクの理解ミスはわずか3.1%。「問題は読める、コードも書ける、でも正しい科学的解法を選べない」という構造的な課題が浮かび上がる。 成功ケースも示唆的で、45.5%が科学的問題を教師あり予測（入力データから出力を学習するML）に変換して突破したもの。最適化・チューニングの17.6%と合わせ、エンジニアリング主導の手法が全成功の82.7%を占める。ドメイン固有の科学的推論で成功したケースは少数派だ。 現状のAIエージェントは「科学的発見者」ではなく「汎用MLへの問題の組み換え屋」に近い。次の壁はドメイン知識を活かした推論力かもしれない。