NVIDIA Nemotronが数学オリンピックで金メダル級——SFT+強化学習4段階レシピの全貌

約14分で読めます by ぽんたぬき
NVIDIA Nemotronが数学オリンピックで金メダル級——SFT+強化学習4段階レシピの全貌

NVIDIA Nemotronが数学オリンピックで金メダル級——SFT+強化学習4段階レシピの全貌

メタディスクリプション: NVIDIA NemotronがIOI 2026で535.4/600、IMO 2026で30/42を記録し2大競技で金メダル級に。SFTと強化学習を組み合わせた4段階レシピとGenCorrect推論ループを解説します。


導入:1つのモデルファミリーが2つの国際大会を同時に制した

2026年、AI研究史に残る出来事が相次いで起きました。NVIDIA NemotronがIOI(国際情報オリンピック)2026で535.4/600点を獲得し、人間トップ選手のスコア498.27点を上回ったのです。さらに同年、IMO(国際数学オリンピック)2026では30/42点で金メダルの閾値である29点を超えました。

驚くべきは、これらの成果が単一のモデルファミリーによって、外部ツールも形式的証明器もインターネットへのアクセスも一切使わず、純粋なモデル推論だけで達成されたという点です。競技プログラミングと競技数学という性質の異なる2分野を、1つのアーキテクチャで同時制覇した事例は、2026年時点で初めてのことです。

この記事では、この成果を支える4段階のトレーニングレシピ、推論ループ「GenCorrect」の仕組み、そしてモデルサイズによって変わる最適戦略まで、技術的に正確に解説します。LLMファインチューニングや強化学習に関わるエンジニア、数学AIや競技プログラミングAIの開発に関心のある方に特に参考になる内容です。


そもそも何がすごいのか:IOIとIMOの結果を読み解く

IOI 2026:競技プログラミングで人間のトップを超えた

IOIはアルゴリズム問題を実際にコーディングして解く競技です。部分点形式で採点されるため、「解けた・解けない」だけでなく、アルゴリズムの効率性や正確性が細かく評価されます。

Nemotronが記録した535.4点は、その年の人間トップスコア498.27点を37点以上も上回るものでした。競技プログラミングのタスクは「テストケースを実行すれば正誤が自動判定できる」という性質を持っており、この自動検証可能性がAIにとって強力な報酬信号になります。

IMO 2026:自然言語による数学証明で金メダル閾値を突破

IMOはまったく異なる難しさを持っています。解答は自然言語(あるいは数学記号)による証明文であり、採点は人間の審査員が行います。「この論理ステップは正しいか」「証明のギャップはないか」という判断は、コードの実行結果のように機械的に判定できるものではありません。

その困難な条件の下で、Nemotronは30/42点を獲得しました。金メダル閾値は29点であり、これを1点上回っています。証明の正当性を機械的に検証しにくい問題設定で金メダル級のスコアを出せたことは、推論ループの設計がいかに巧妙であったかを示しています。

なぜ「2競技同時」が節目なのか

競技プログラミングAIの分野では「コードを書いて実行結果で評価する」というフィードバックループが比較的構築しやすく、先行研究が多くあります。一方、数学証明AIはその自動検証の難しさから、コーディングAIとは別個に発展してきました。

今回の成果が示したのは、同じ方法論のフレームワークでこの2つを統一的に攻略できるという可能性です。業界のトレンドとして「SFT→RL」という2段階から「モデル・データ・推論ループの3要素共設計」へという流れが加速していますが、Nemotronはその方向性を2競技同時の金メダルで実証して見せました。


Nemotronの4段階レシピを分解する

ステップ①:ベースモデル——Nemotron 3 Ultra(550B総/55Bアクティブ)

NemotronのベースはMixture-of-Experts(MoE)アーキテクチャを採用した大規模モデルです。総パラメータ数は550Bですが、推論時に実際に活性化されるのは約55Bです。MoEでは各入力トークンごとにエキスパートの一部だけを選択して使うため、計算コストを抑えながら大きなモデル容量を活かせます。

実務的に押さえておくべきポイントは、ベースモデルの推論能力が後段の天井を決定するという点です。SFTや強化学習で引き出せる能力は、ベースモデルが持つポテンシャル以上にはなりません。

ステップ②:ドメインデータの設計

データ設計における注目点は「量だけでなく質、とりわけ推論トレースの質」にあります。

  • IOI向け: 22,000件の競技プログラミング問題に加え、合成推論トレース(モデルがどのように考えてコードを組み立てるかのステップバイステップ記述)をデータに含めています
  • IMO向け: 414,890件のサンプルを品質フィルタにかけた高品質データセット

「どう解いたか」のプロセスを含むデータを学習させることで、モデルは単なる答えの暗記ではなく、問題解決のプロセス自体を模倣できるようになります。これが後段の強化学習を効果的に機能させる前提条件になっています。

ステップ③:SFT+強化学習——能力の境界線でRLを効かせる

SFT(教師あり微調整) は、正解データを模倣してモデルの分布を特定の領域に収束させます。既知の解法パターンを定着させる効果があり、訓練データの分布内ではパフォーマンスが大きく向上します。

しかし、競技では「分布内の問題を解く」だけでは不十分です。訓練データに直接現れないような、モデルの能力の境界線付近の問題に対しても正解に近い答えを出す必要があります。

ここで強化学習(RL) が機能します。NemotronではGRPO(Group Relative Policy Optimization)などのRL手法を用いて、境界付近の問題への汎化を促進しています。報酬設計は以下のように設定されています。

  • IOI向け: 競技採点システム(テストケースへの合否)をそのまま自動検証器として報酬に利用
  • IMO向け: 生成された証明の正当性チェックを自動化した検証器を報酬として利用

「自動的に正誤判定できるシステムを報酬に直結させる」という設計思想は、RL活用の本質的なベストプラクティスです。

ステップ④:推論ループ「GenCorrect」

4段階の最後は、学習ではなく推論時の計算をどう使うかという戦略です。GenCorrectは以下のサイクルで動作します。

生成(Generate)→ 評価(Evaluate)→ 批判(Critique)→ 改善(Correct)→ 繰り返し

「1回の推論で正解を出す」のではなく、「反復して正解に収束させる」という考え方です。この設計により、推論時に計算リソースを追加投入することで性能をスケールさせられます(test-time compute scaling)。


GenCorrectはどう動くのか:2競技での実装の違い

競技プログラミングでの動かし方

IOIタスクでは、GenCorrectは次のように機能します。

  1. 複数のコード候補を並列生成する
  2. 各候補をテストケースで自動採点し、正解・不正解を判定する
  3. 失敗したケースについて**「なぜ失敗したか」を批判的に分析**する
  4. その批判を踏まえてコードを修正した候補を生成する
  5. 改善されたスコアの候補を選択して次のイテレーションへ

競技プログラミングはテストケースを実行するだけで即座に正誤が判定できるため、報酬信号が非常に強く、明確です。GenCorrectはこの特性を最大限に活かした設計になっています。

数学証明での動かし方

IMOタスクでは、自動検証が格段に難しくなります。

  1. 複数の証明候補を自然言語で生成する
  2. モデル自身が各証明を読み、論理的なギャップや誤りを指摘する(批判フェーズ)
  3. 最も有望な証明候補を選び、ギャップを埋めるように改善する
  4. 最終段階で計算リソースを集約し、最も評価スコアが高い証明を選択する

形式的証明器を使わないため、「この証明は正しいか」の判定をモデル自身が担います。批判フェーズの精度がGenCorrectの性能を左右する重要な要素になっています。

2つのタスクに共通する設計思想

2競技でGenCorrectの実装は異なりますが、核心にある思想は同じです。

  • 検証可能性に応じて批判フェーズを設計する
  • 「1発で正解」を目指さず「反復収束」を設計する
  • 推論時の計算配分もモデルの性能の一部として扱う

この考え方は、数学や競技プログラミング以外のドメインにも応用できる汎用的なフレームワークです。


実務に効く知見:モデルサイズで最適戦略が変わる

Nemotronの公開情報の中で、実務エンジニアにとって最も参考になるのがモデルサイズ別の戦略分岐です。段階的に理解を深めていきましょう。

小型モデル(Nano-CC:30B総/3Bアクティブ)はRLが効く

小型モデルのNano-CCでは、SFTで大部分のスコアゲインを獲得した後、RLの追加によりさらに**+11点のスコア改善**が確認されています。

計算資源が限られた環境での優先順位は次のとおりです。

  1. 推論トレースを含む高品質データでのSFTを先に実施
  2. 自動検証器を整備できるなら、RLで追加ゲインを狙う
  3. RLのコスト対効果は、タスクの自動採点可能性に大きく依存する

大型モデル(Ultra-CC)は1エポックのSFTで足りる

大型モデルでは、1エポックのSFTだけで小型モデルのRL後スコアを上回るという結果が出ています。ベースモデルの能力が高いほど、限られた学習でも高い水準に達することができます。

実際の開発現場では、大型モデルでRLのコストを払う前に「SFT後のスコアはどこまで届くか」を必ず検証することをベストプラクティスとして推奨します。

IMOで見えたSFT/RLチェックポイントの相補性

IMOの実験で特に興味深い知見が得られました。

  • SFTチェックポイント → 探索フェーズ(多様な証明を生成する段階)で最も強い。多様性の高い解候補を引き出せる
  • RLチェックポイント → 単体スコアの精度で最も強い。最終的な絞り込みフェーズに向いている

つまり、SFTとRLのチェックポイントを役割分担させるパイプライン設計が有効です。探索はSFT、洗練はRLという使い分けで、両者の強みを合わせた性能を引き出せます。

自分のドメインに応用するためのチェックリスト

Nemotronの方法論を自分のドメインに応用する際の確認事項をまとめます。

  • 自動検証器を用意できるか? 正誤を機械的に判定できるシステムがあれば、強力な報酬信号になる
  • 推論トレース付きのデータを作れるか? 答えだけでなく「考え方のプロセス」を含むデータがSFTの質を決める
  • モデルサイズに対してRLの投資判断は妥当か? 大型モデルではSFTだけで十分な場合も多い
  • 批判フェーズの自動化は可能か? GenCorrectの性能はモデル自身が批判をどれだけ正確にできるかに依存する
  • 反復推論にかけられる計算リソースはどれくらいか? test-time computeの予算が推論時の性能上限に影響する

よくある疑問(FAQ)

SFTだけでは何が足りないのか

SFTは学習データの分布内では非常に効果的です。しかし競技数学や競技プログラミングでは、訓練データに現れないパターンの問題を解く能力が直接スコアに直結します。RLはモデルの能力の「境界線」付近の問題に対して、試行錯誤しながら汎化する力を与えます。この2つは補完的であり、どちらか一方だけでは達成できない性能の閾値があります。

強化学習の報酬はどう設計されているのか

IOIではコンパイル・実行したコードのテストケース通過率を報酬に使っています。IMOでは証明の論理的正当性を評価する自動検証器を構築して報酬としています。いずれも「人間の評価を介さず自動的にスコアが計算できる」仕組みを設計することが、RL活用の重要な前提条件です。

外部ツールや形式的証明器は使っていないのか

使用していません。Lean等の形式的証明器への依存はなく、インターネット検索も使いません。全ての推論はモデルの内部計算のみで行われています。これはベンチマーク条件の公平性という観点からも、そして将来のオフライン活用という実用観点からも重要な特徴です。

モデルやコードは公開されているのか

はい。NVIDIAはモデル・データセット・学習コード・論文をすべてオープンリリースしています。NeMo-Skillsリポジトリを起点として、再現や応用が可能な形で公開されており、研究コミュニティにとって貴重な再現基盤となっています。

汎用モデルとの性能差はどこから生まれるのか

主に2つの要因です。第一にドメイン特化データ——競技問題22,000件+合成推論トレース、あるいは41万件超の数学サンプルというデータの量と質が、汎用モデルには存在しない分布を学習させます。第二に推論ループの設計——GenCorrectによる反復改善は、1回の推論で出力するだけの汎用モデルに対して、推論時計算という追加リソースを性能に転換します。


まとめ:これからの数学AI・コーディングAIに何を示したか

Nemotronの成果が示した最も重要なメッセージは、「モデル・データ・推論ループの共設計」という方法論の一般化可能性です。

「大きなモデルを用意する」でも「データをたくさん集める」でもなく、この3要素を互いに最適化した形で組み合わせることで、質的に異なる性能の閾値を超えられるということを、2競技の金メダルで実証して見せました。

オープンリリースの意義も見逃せません。モデル・データ・コード・論文がすべて公開されることで、世界中の研究者が同じフレームワークを自分のドメインで試せるようになります。次の突破口は、競技数学や競技プログラミングではなく、自動検証器を設計できる任意の専門領域から生まれてくる可能性があります。

自分のドメインで試してみたい方への最初の一歩としては、小規模なSFTと自動検証器の構築から始めることを推奨します。検証器さえ設計できれば、GenCorrectの推論ループは原理的にどのタスクにも適用できます。NeMo-Skillsのコードベースはその出発点として最適なリファレンスになるはずです。


参考リソース

関連記事

ブラウザクローンデータとは?二段階認証が突破される仕組みと今すぐできる対策

ブラウザクローンデータとは?二段階認証が突破される仕組みと今すぐできる対策

ブラウザクローンデータとは?二段階認証が突破される仕組みと今すぐできる対策 「二段階認証を設定しているから、うちのアカウントは大丈夫」——そう思っている方に、少し不安な話をしなければなりません。 ダークウェブの闇市場では今、IDとパスワードのリストより「ログイン済みの状態ごとコピーしたブラウザクローンデータ」のほうが高値で取引されています。NordVPNの調査(2025年6月〜2026年6月)によ...

【2026年】MUJIアプリで最大2726万件の個人情報漏洩|不正アクセスの手口と企業・利用者が今すぐやるべき対策

【2026年】MUJIアプリで最大2726万件の個人情報漏洩|不正アクセスの手口と企業・利用者が今すぐやるべき対策

【2026年】MUJIアプリで最大2726万件の個人情報漏洩|不正アクセスの手口と企業・利用者が今すぐやるべき対策 最終更新日:2026年10月31日 2026年10月30日、株式会社良品計画は公式アプリ「MUJIアプリ」への不正アクセスを発表しました。漏洩した可能性のある情報は最大約2,726万件にのぼり、退会済み会員のデータも含まれることが明らかになっています。 「自分のデータは大丈夫なのか」...

Claude Code拡張にSSHバックドア混入 — Cursor Marketplaceを襲ったサプライチェーン攻撃の全貌と対処法

Claude Code拡張にSSHバックドア混入 — Cursor Marketplaceを襲ったサプライチェーン攻撃の全貌と対処法

Claude Code拡張にSSHバックドア混入 — Cursor Marketplaceを襲ったサプライチェーン攻撃の全貌と対処法 「拡張機能を入れただけ」で、第三者が自分のマシンへSSHログインできる状態になる。2026年10月29日、Cursor Marketplaceで配布されたClaude Code for VS Code v2.1.313で実際に起きたことです。まず最初にやるべき1コマ...

AIエージェントの請求が青天井になる前に——Paperclipで実践するエージェント予算・コスト管理

AIエージェントの請求が青天井になる前に——Paperclipで実践するエージェント予算・コスト管理

AIエージェントの請求が青天井になる前に——Paperclipで実践するエージェント予算・コスト管理 AIエージェントを本番投入したチームが次に直面するのは、「月末の請求書」です。タスクを自律的にこなしてくれる便利さの裏側では、トークンが静かに積み上がり続けています。本記事では、AIエージェントのコスト管理に特化したOSSツール「Paperclip」を軸に、予算設計からガバナンス実装まで、実運用で...

コメント

0/2000