レッスン7：事前学習から Post-training へ——SFT・RLHF・DPO・Constitutional AI

このレッスンで学ぶこと

事前学習が「次単語予測を大量に繰り返す自己教師あり学習」であることを理解する
Chinchilla 則を「モデルサイズとデータ量のバランス」の指針として位置づけられる
事前学習後のモデルが「まだ話し方を知らない」状態であることを把握する
SFT・RLHF・DPO・Constitutional AI という Post-training の 4 手法を、目的と役割で使い分けられる
reasoning モデルにおける Chain-of-Thought の内部化を、Post-training の延長として理解する

前回のレッスン 6 では、Transformer の入力側であるトークンと埋め込みを扱いました。今回は、この Transformer に「言葉が話せる」振る舞いをどう獲得させるかの話に踏み込みます。事前学習（Pre-training）で大量のテキストから言語の統計的規則を吸収させ、その後の Post-training（事後学習）で振る舞いを整えていく——この 2 段階のパイプラインが、現代 LLM の育て方の骨格です。

事前学習——Next Token Prediction を大量に繰り返す

事前学習の中心的なタスクは、驚くほどシンプルです。「文章の途中まで見せて、次に来る単語を予測させる」——これを、Web 上の膨大なテキストで繰り返します。この課題を Next Token Prediction（次トークン予測）と呼びます。

例えば「機械学習の基本は次の 3 つの分類に整理」まで見せて、次に来る単語（「できます」など）を予測させます。予測が正解と一致すれば損失が小さく、外れれば損失が大きくなります。損失を勾配降下法と逆伝播で最小化していけば、モデルは徐々に「もっともらしい次単語」を選べるようになります。

なぜ「次単語予測」で言語が身につくのか

一見単純なこのタスクを、大規模なテキストで大規模なモデルに繰り返させると、モデルは自然と語彙・文法・意味・世界知識・簡単な推論まで身につけていきます。理由は次の 3 つです。

語彙と文法：正しい次単語を選ぶには、単語の使い分けと文法の型を身につける必要がある
意味と文脈：「太郎は花子に本を」の次が「渡した」であるためには、動詞の意味と文脈を理解する必要がある
世界知識：「日本の首都は」の次が「東京」であるためには、事実知識を持つ必要がある

シンプルな課題を、規模と多様性で押し切って複雑な能力を引き出す——これが事前学習の本質です。

自己教師あり学習としての位置づけ

事前学習は、レッスン 3 で扱った自己教師あり学習の代表例です。「次の単語」というラベルは、人手で用意したものではなく、テキストそのものに埋め込まれています。Web 上のあらゆるテキストが訓練データになり、ラベル付けのコストがかかりません。この「タダで大量に学べる」性質が、LLM の巨大化を許容してきました。

Chinchilla 則——モデルとデータのバランス

事前学習の実務では、「モデルサイズと訓練データ量のどちらにどれくらい投資するか」が重要な設計問題です。この問いに定量的な答えを与えたのが、2022 年に DeepMind の Jordan Hoffmann らが発表した Chinchilla 論文（"Training Compute-Optimal Large Language Models"）です。

従来の常識——「モデルを大きくすれば良い」

Chinchilla 以前は、「モデルパラメータを増やせば性能が上がる」という理解が主流でした。GPT-3（1,750 億パラメータ、2020 年）は、この考え方の象徴でした。しかし、Chinchilla 論文は、GPT-3 級のモデルが訓練データに対して「大きすぎる」ことを実験で示しました。

Chinchilla 則の含意

Chinchilla 則の直観は「モデルパラメータ数と訓練トークン数を、ほぼ同じペースで増やすのが最適」というものです。モデルだけ大きくしてもデータが足りていなければ、計算資源を無駄にすることになります。逆に、データがあっても十分な規模のモデルがなければ、そこに含まれる情報を吸収しきれません。

💡 ポイント Chinchilla 則の具体的な倍率（パラメータ 1 に対して何トークン）は、その後の研究でモデル系統ごとに違うことも明らかになってきました。細かい数字より、「モデル・データ・計算資源のバランスで性能が決まる」という骨格を押さえるのが重要です。これはレッスン 1 の 3 層フレームそのままの発想です。

事前学習後のモデルは「まだ話し方を知らない」

事前学習を終えたモデルは、驚くほど多くのことを「知って」います。文法・語彙・世界知識・推論の初歩まで身につけています。しかし、そのままでは実務で使えません。理由は 3 つあります。

指示に従わない：「明日の会議の議題を 3 つ提案してください」と言っても、「明日の会議の議題を 3 つ提案してください。しかしそれは …」と続けてしまう
有害な出力もそのまま生成する：暴力・差別・違法行為に関する指示にも、統計的な確率に従って応じてしまう
好みや価値観が反映されていない：親切さ・正確さ・簡潔さといった「望ましい話し方」の型がない

事前学習は「言語の統計的規則」を学ばせるだけで、「望ましい振る舞い」の型は与えていません。この型を与える工程が Post-training です。

Post-training——振る舞いを整える 4 手法

Post-training は、事前学習済みモデルに「望ましい振る舞い」の型を教える工程です。次の 4 手法が代表的です。

flowchart LR
  P[事前学習済み<br/>ベースモデル] --> S[SFT<br/>お手本で学ばせる]
  S --> R[RLHF<br/>好みで学ばせる]
  S --> D[DPO<br/>好みで学ばせる<br/>より簡素な方法]
  S --> C[Constitutional AI<br/>原則で学ばせる]
  R --> M[完成モデル]
  D --> M
  C --> M

SFT——お手本で学ばせる

SFT（Supervised Fine-tuning、教師ありファインチューニング）は、Post-training の入り口です。人間が用意した「良い応答の例」を大量に見せて、モデルに「望ましい話し方の型」を教えます。「ユーザーがこう聞いたら、こう答えるべき」というペアを、数千〜数十万件用意し、教師あり学習で追加訓練します。

SFT だけでも、モデルはずいぶん実用的になります。指示に従うようになり、「〜してください」に対して答え始めます。しかし、SFT だけでは「複数のもっともらしい応答のうち、どちらが好ましいか」を細かく調整するのが難しく、次の RLHF や DPO が必要になります。

RLHF——好みで学ばせる

RLHF（Reinforcement Learning from Human Feedback、人間のフィードバックによる強化学習）は、2022 年に OpenAI が InstructGPT 論文（Long Ouyang ら、"Training language models to follow instructions with human feedback"）で広く知られる形にまとめた手法です。ChatGPT の基盤にもなっています。

RLHF の手順は次の通りです。

報酬モデルの学習：人間に「同じ質問に対する 2 つの応答のうち、どちらが好ましいか」を大量に選ばせ、そのデータで「応答の好ましさを数値で予測する報酬モデル」を訓練する
強化学習で微調整：LLM に応答を生成させ、報酬モデルが「好ましさスコア」を返し、そのスコアを最大化するように LLM のパラメータを更新する

RLHF は「人間の好み」というラベル付けが難しい対象を、比較データで扱える形に落とし込む工夫が特徴です。ChatGPT の応答の丁寧さ・親切さ・安全性の多くは、この RLHF によって獲得されたものです。

DPO——RLHF を簡素化する

DPO（Direct Preference Optimization、直接選好最適化）は、2023 年にスタンフォード大学の Rafael Rafailov らが発表した手法です。RLHF が「報酬モデルの学習」と「強化学習での最適化」の 2 段階を必要とするのに対し、DPO は 1 段階で「好みデータを直接最適化」できる設計を提案しました。

DPO のメリットは 3 つあります。

実装がシンプル：報酬モデルの学習と強化学習の 2 段構えが不要
安定性が高い：強化学習に特有の不安定さ（発散・崩壊）が起きにくい
同等の性能を達成しやすい：多くのタスクで RLHF に匹敵する

2024 〜 2025 年以降、多くのオープンウェイト LLM（LLaMA 系・Mistral 系など）が Post-training に DPO を採用しています。

Constitutional AI——原則で学ばせる

Constitutional AI（憲法的 AI、CAI）は、2022 年に Anthropic の Yuntao Bai らが発表した手法です。「憲法（Constitution）」と呼ばれる原則リスト（例：「回答は正直で、他者を尊重し、有害な行為を助長しない」）を用意し、モデル自身が「自分の応答が原則に沿っているか」を批評し、修正することで学習を進めます。

flowchart LR
  P[プロンプト] --> R1[初期応答]
  R1 --> C[原則リストで<br/>自己批評]
  C --> R2[修正応答]
  R2 --> T[修正応答で<br/>SFT/DPO 訓練]

Constitutional AI のメリットは、「人間による大量の好みラベリング」を減らせることです。人間が原則リストさえ用意すれば、後はモデル自身が原則に沿った応答を作り出せます。Anthropic の Claude シリーズは、この Constitutional AI を Post-training の中核に据えています。

📝 補足 SFT・RLHF・DPO・Constitutional AI は排他的ではなく、実務では組み合わせて使うのが普通です。多くの LLM は「事前学習 → SFT → RLHF や DPO」の順序で、Anthropic は「事前学習 → SFT → Constitutional AI」を中核に据えるといった違いがあります。

reasoning モデル——Chain-of-Thought の Post-training 内部化

Post-training の最近の発展として、reasoning（推論）モデルの登場があります。OpenAI の o シリーズや Anthropic の reasoning モードなどが該当します。これらのモデルの特徴は「回答前に長い思考プロセスを内部で展開する」ことです。

Chain-of-Thought の内部化

reasoning モデルの内部で起きているのは、Chain-of-Thought（CoT、思考の連鎖）の内部化です。CoT はもともと 2022 年に Google の Jason Wei らが「大規模モデルにプロンプトで『順を追って考えてください』と促すと性能が上がる」現象として発表しました。当初は「プロンプトの工夫」でしたが、reasoning モデルではこれが Post-training の段階で「自然と長い思考プロセスを内部で展開する振る舞い」として内部化されています。

何が違うのか

通常のモデルは、問いに対して直接答えを返します。reasoning モデルは、答えを返す前に「まず問題を分解して、可能性を検討し、計算し、確認する」といった思考プロセスを内部で展開します。この思考は多くの場合ユーザーには見えない形（あるいは要約された形）で扱われますが、最終的な回答の質を大きく引き上げます。

reasoning モデルは、コーディング・数学・複雑な推論を必要とするタスクで顕著に強くなります。ただし、思考プロセスを長く回す分、レイテンシとコストが上がる副作用もあります。使い分けが重要です。

Post-training を理解すると何が見えるか

Post-training の 4 手法を押さえておくと、LLM ベンダーの発表を読むときに、次のような点が具体的に見えてきます。

「弊社の新モデルは Constitutional AI で訓練しました」→ Anthropic 系の設計思想
「DPO で好みを学習しました」→ RLHF を簡素化したい実装選択
「reasoning モードを追加しました」→ CoT を Post-training で内部化した設計
「アラインメント（alignment）を改善しました」→ Post-training で有害出力・偏り・誤情報を減らした改善

これらは全て「事前学習後にどう振る舞いを整えたか」の話です。事前学習と Post-training の境界を意識するだけで、モデル選定や機能理解の解像度が変わります。

まとめ

このレッスンでは、以下のことを学びました。

事前学習は「Next Token Prediction を大量のテキストで繰り返す自己教師あり学習」であること
Chinchilla 則は「モデルパラメータ数と訓練データ量のバランスで性能が決まる」という指針で、3 層フレームと整合すること
事前学習後のモデルは「言語の統計的規則は身につけたが、望ましい話し方の型はまだ持たない」状態であること
Post-training には SFT（お手本）・RLHF（好み）・DPO（好みの簡素化）・Constitutional AI（原則）の 4 手法があること
reasoning モデルは Chain-of-Thought を Post-training で内部化した設計で、複雑推論に強いがコスト・レイテンシは上がること
Post-training を理解すると、LLM ベンダーの発表を「使い方」ではなく「振る舞いの整え方」として読み解けること

次のレッスンでは、こうした LLM を実務で動かすための効率化と推論最適化を扱います。MoE・量子化・蒸留・KV キャッシュ・GPU / TPU など、計算資源層に踏み込みます。

確認クイズ

このレッスンの理解度をチェックしましょう。