ポストトレーニング

ポストトレーニングとは、大規模な事前学習で得たbase modelに対し、指示追従、特定能力、好み、安全性など望ましい振る舞いを身につけさせるために行う後段の追加学習の総称です。

ポストトレーニングとは

ポストトレーニング（post-training）は、大規模な事前学習を終えたbase modelへ追加の学習を行い、ユーザーが必要とする振る舞いや能力へ調整する後段工程の総称です。LLMでは、Supervised Fine-Tuning（SFT）、人間やAIの評価を使う強化学習、Direct Preference Optimization（DPO）などが含まれることがあります。

ただし、これは数学的に一意の標準用語というより、近年の大規模モデル開発で広く使われる工程名です。企業や研究グループによって「どこからどこまでをpost-trainingと呼ぶか」は少し異なります。したがって、記事中でこの語が出たら、具体的な手法名まで読むことが重要です。

なぜ事前学習だけで終わらないのか

LLMの事前学習では、大量のテキストなどから次のトークンを予測する能力を身につけます。その結果、言語、知識、コード、推論に使える広いパターンを獲得しますが、base modelがそのまま「良いアシスタント」になるとは限りません。

たとえばユーザーが「この文章を三行で要約して」と頼んでも、base modelは依頼に従うより、入力の続きを書くような出力をする可能性があります。危険な依頼への応答、出力形式、簡潔さ、ツール利用なども、事前学習目的だけでは人間の期待と一致しません。そこで、望ましい入力→出力例や評価信号を使って、base modelの振る舞いを追加調整します。

OpenAIはpost-trainingについて、pre-trained base modelに対してまず広い理想応答のSFTを行い、その後さまざまなreward signalを使うreinforcement learningを行う、と説明しています^[1]。つまり「安全フィルターを外側に付ける」だけではなく、モデル自体の重みを更新する学習です。

代表的なpost-trainingパイプライン

最も理解しやすい形は、pretraining → SFT → preference/reward based optimizationです。SFTでは、「この依頼にはこう答える」という高品質な例を教師データとして学びます。その後のRLでは、複数の候補応答のうち何がより良いかというreward signalを使い、望ましい出力の確率を高めます。

一方、必ずRLを使うわけではありません。MetaはLlama 3.1のpost-trainingで、各ラウンドにSFTとDPOを用いる反復的な手順を説明しています^[3]。DPOは好ましい応答と好ましくない応答のペアから、明示的なreward modelを経由せず選好へモデルを寄せる方法です。

OpenAIのgpt-ossの説明では、SFTと高計算量のRLを含むpost-trainingによって、Model Specへの整合、reasoningやtool useの適用などを教えたとされています^[2]。post-trainingが、単に「無害にする」だけでなく、推論の仕方やツール利用など製品能力にも関係することが分かります。

SFT・RLHF・DPOは全部post-trainingなのか

多くの現代LLM文脈では、はい、と考えてよいです。ただし包含関係を逆にしないことが重要です。post-trainingは工程の大枠、SFTやRLHF、DPOはその中で使われ得る個別手法です。

また、instruction tuningはSFTの一種として実施されることが多く、これもpost-trainingに含めて語られます。RLHFは「human feedbackをreward modelやRLへ使う特定方式」であり、post-training全体の同義語ではありません。RLAIF、RLVRなど、評価信号の作り方が異なる方法もあります。

「能力」と「振る舞い」をどう分けるか

よく「pretrainingが能力を作り、post-trainingが振る舞いを整える」と説明されます。入門としては便利ですが、完全な二分法ではありません。post-trainingでコーディング、数学、長い推論、ツール利用などの性能が大きく改善する場合があり、逆に不適切なpost-trainingで一部能力が低下することもあります。

OpenAIがsycophancy問題を説明した記事では、reward signalとその重み付けが最終的な振る舞いを形作るとし、更新ごとにpost-trainingの変更を評価していることが述べられています^[1]。つまり、同じbase modelでもpost-training recipeが変われば、親切さ、断定の強さ、拒否傾向、正答率などが変化し得ます。

reasoning modelでは何が違うのか

近年のreasoning modelでは、post-training、とくにreinforcement learningの重要性が大きく語られます。検証可能な数学・コード問題、grader、reward signalなどを使い、長い試行錯誤や自己修正を含む解答行動を強化する設計があります。

ただし「reasoning model＝RLだけで作る」とは限りません。初期SFT、合成データ、verifier、reward model、データフィルタなど複数工程が組み合わされます。製品発表で「post-training improved reasoning」と書かれていたら、具体的に何を変更し、どのベンチマークで比較したのかを見る必要があります。

safetyだけの工程ではない

alignmentやsafetyはpost-trainingの重要な目的ですが、唯一の目的ではありません。指示追従、会話形式、特定の文体、専門分野、コーディング、ツール呼び出し、拒否方針、事実性なども対象になります。

逆に、すべての安全対策がpost-trainingというわけでもありません。システムプロンプト、入力フィルター、出力モデレーション、RAG、ツール権限、アプリ側のポリシーなどは、推論時にモデルの外側で働く仕組みです。これらはモデル重みを更新しないため、通常は狭義のpost-trainingとは区別します。

製品アップデートを読むときの注意

「post-trainingを改善したのでモデルが賢くなった」という説明があった場合、少なくとも三層を分けてください。第一はbase modelそのものの変更、第二はpost-trainingによる重みの変更、第三はsystem prompt・tool・retrievalなど製品システムの変更です。同じモデル名の更新でも、どの層が変わったかで意味が違います。

また、reward signalの設計にはトレードオフがあります。たとえば「ユーザー満足」を強く最適化すると、モデルが必要以上に同意するsycophancyへ傾く可能性があります。ある指標を上げることが、すべての品質を同時に上げるとは限りません。

元の文脈へ戻ったときのチェックポイント

post-trainingという語を見たら、①どのbase modelから始めたか、②SFT・RL・DPOなど何を使ったか、③教師例やreward signalを何で作ったか、④何の能力・振る舞いを狙ったか、⑤baseとの比較があるか、⑥システム側の変更と分離されているかを確認してください。

「post-training済み」というだけでは品質は決まりません。何を最適化したかによって、回答傾向も弱点も変わります。モデルリリースの説明では、手法名よりもデータ・評価信号・評価結果の対応関係を見るのが実用的です。

関連するAI用語

• 事前学習（G065）
• ファインチューニング（G068）
• SFT（G070）

注・出典

1. OpenAI, “Expanding on what we missed with sycophancy”: https://openai.com/index/expanding-on-sycophancy/ ↩
2. OpenAI, “Introducing gpt-oss”: https://openai.com/index/introducing-gpt-oss/ ↩
3. Meta AI, “Introducing Llama 3.1”: https://ai.meta.com/blog/meta-llama-3-1/ ↩

AI協働制作について

本記事は、著者が独自に設計した指示、参照資料、出典確認規則、著作権確認および監査工程を組み込んだChatGPT等の生成AIを、情報収集の補助、資料整理、構成検討、草稿作成、文章校正および監査補助に使用して制作しました。記事の対象範囲、情報源の採否、構成、解釈および最終表現は著者が判断し、最終稿を承認しています。著者は、本記事の正確性、独自性、引用、著作権処理および公開内容について責任を負います。制作工程の詳細は「AI協働制作方針」をご覧ください AI協働制作方針をご覧ください。