本文へスキップ
スキルアップカレッジ

学習の 3 分類——教師あり・教師なし・強化学習

レッスン3：学習の 3 分類——教師あり・教師なし・強化学習

このレッスンで学ぶこと

  • 機械学習の 3 分類（教師あり学習・教師なし学習・強化学習）を、ラベルの有無と行動の有無で位置づけられる
  • 教師あり学習の 2 大タスク（分類・回帰）の違いを、ビジネス例で理解できる
  • 教師なし学習の代表タスク（クラスタリング・次元削減）と、その活用場面を把握する
  • 強化学習の「環境・エージェント・報酬」の循環と、AlphaGo の位置づけを理解する
  • 自己教師あり学習が「教師あり学習の特殊形」として LLM の事前学習に使われる理由を押さえる

前回のレッスン 2 では、パーセプトロンから Transformer までのニューラルネットの系譜をたどりました。今回は、これらのモデルが「どう学ぶか」の 3 分類を整理します。教師あり学習・教師なし学習・強化学習の 3 つの枠組みを俯瞰し、LLM の事前学習が「自己教師あり学習」に位置づけられる理由まで踏み込みます。次のレッスン 4 で扱う「学習が進む原理」の前提となる回です。

機械学習の 3 分類——ラベルと行動で整理する

機械学習（machine learning）は、大きく 3 つに分けられます。

  1. 教師あり学習（supervised learning）：入力とラベル（正解）のペアで学ぶ
  2. 教師なし学習（unsupervised learning）：ラベルなしの入力だけで、データの構造を見出す
  3. 強化学習（reinforcement learning）：環境と対話し、報酬を最大化する行動を学ぶ

この 3 分類は、「ラベルの有無」と「行動の有無」の 2 軸で整理できます。

flowchart TB
  Q{ラベルが<br/>あるか?}
  Q -->|あり| S[教師あり学習<br/>分類・回帰]
  Q -->|なし| Q2{行動と報酬が<br/>あるか?}
  Q2 -->|あり| R[強化学習<br/>AlphaGo など]
  Q2 -->|なし| U[教師なし学習<br/>クラスタリング・次元削減]

3 分類は排他的ではなく、実務では複数を組み合わせることも多くあります。例えば、大量のラベルなしデータで教師なし学習の下地を作り、少量のラベル付きデータで教師あり学習を仕上げる「半教師あり学習」や、モデル自身が入力の一部を隠して「隠された部分を予測させる」自己教師あり学習など、境界を柔軟に扱う手法が発展しています。

教師あり学習——ラベル付きデータで学ぶ

教師あり学習は、入力と「望ましい出力」のペアを大量に見せて、両者の対応関係を学ばせる方法です。ラベル付きデータ（labeled data）を必要とします。学習後のモデルは、新しい入力に対して出力を予測できるようになります。

教師あり学習の代表タスクは、分類（classification）と回帰（regression）の 2 つです。

分類——カテゴリを予測する

分類は、入力を「あらかじめ決められたいくつかのカテゴリのどれか」に振り分けるタスクです。以下は代表的なビジネス例です。

  • スパムメール判定（スパム / 正常）
  • 画像認識（犬 / 猫 / 鳥 …）
  • 顧客離反予測（離反する / 離反しない）
  • 医療画像の異常検出（異常あり / 異常なし）
  • 与信スコアリング（承認 / 否認）

分類の出力は「カテゴリのラベル」または「各カテゴリに属する確率」です。カテゴリが 2 つの場合を二値分類、3 つ以上の場合を多クラス分類と呼びます。

回帰——数値を予測する

回帰は、入力から「連続した数値」を予測するタスクです。以下は代表例です。

  • 不動産価格の予測（間取り・築年数・立地から価格を推定）
  • 売上予測（過去データから来月の売上を推定）
  • 気温予測（気象データから明日の気温を推定）
  • 需要予測（過去の販売実績から次期の需要を推定）

分類と回帰の見分け方はシンプルです。「予測したい対象が『カテゴリのどれか』なら分類、『数値そのもの』なら回帰」と押さえてください。

💡 ポイント 教師あり学習の最大のボトルネックは、ラベル付きデータの用意です。「猫の画像」を 10 万枚集めるだけでなく、それぞれに「これは猫」というラベルを人手で付ける作業が必要になります。ImageNet の大規模ラベルデータが 2012 年 AlexNet の突破を可能にした背景には、多数の人手によるラベリング作業がありました。

教師なし学習——ラベルなしデータで構造を見出す

教師なし学習は、ラベルのない入力データだけを与え、モデルにデータの構造を見つけさせる方法です。「正解」を与えないため、モデルは「データがどう集まっているか」「どの次元が本質的か」といったパターンを自ら探索します。

クラスタリング——似たものをまとめる

クラスタリング（clustering）は、データを「似たもの同士のグループ」に分ける手法です。ラベルは与えられず、モデルが「近さ」の物差しに基づいてグループを作ります。ビジネス例としては次のような場面があります。

  • 顧客セグメンテーション（購買行動から顧客を数グループに分ける）
  • 商品カテゴリの自動生成（大量の商品を似た特徴でまとめる）
  • 異常検知（普通のデータ群から離れたものを異常と判定する）
  • 文書のトピック抽出（大量の記事を似た内容でグループ化する）

代表的な手法に k-means（k 平均法）や階層クラスタリングがあります。手法の詳細は本コースの範囲外ですが、「近さの物差しでグループを作る」という発想は押さえてください。

次元削減——本質的な軸を取り出す

次元削減（dimensionality reduction）は、多次元のデータを「本質的な少数の軸」で表現し直す手法です。100 個の特徴を持つデータを 2 〜 3 個の軸で近似的に表現できれば、可視化や後段の分析がしやすくなります。代表的な手法に主成分分析（PCA、Principal Component Analysis）や t-SNE などがあります。

ここで押さえておきたいのは、レッスン 6 で扱う「埋め込み空間」も、広い意味で次元削減の発想を受け継いでいるということです。単語を数千次元のベクトルに落とし込み、「意味が近いものは空間の中で近くに集まる」形にする——この発想が LLM の中核部品になっています。

強化学習——環境と対話し、報酬を最大化する

強化学習は、「教師」も「ラベル」もありませんが、「環境から返ってくる報酬（reward）」を手がかりに、行動の選び方（方策、policy）を学ぶ枠組みです。教師あり学習と教師なし学習が「静的なデータから学ぶ」のに対し、強化学習は「動きながら学ぶ」点が最大の違いです。

環境・エージェント・報酬の循環

強化学習は、次の 3 要素の循環で説明できます。

  1. エージェント（agent）：行動を選ぶ主体（学習する側）
  2. 環境（environment）：エージェントが行動する対象
  3. 報酬（reward）：環境から返ってくる「その行動が良かったかの数値」

エージェントは環境を観察し、行動を選び、報酬と次の状態を受け取ります。この試行錯誤を繰り返し、「長期的に報酬を最大化する行動の選び方」を学んでいきます。

AlphaGo——強化学習の代表的成功例

強化学習の代表的な成功例として広く知られるのが、DeepMind が 2016 年に発表した AlphaGo です。AlphaGo は囲碁の世界トップ棋士イ・セドル氏に 4 勝 1 敗で勝利し、当時「あと 10 年は AI が人間に勝てない」と言われていた囲碁の壁を突破しました。AlphaGo は教師あり学習で人間の棋譜を学んだ後、強化学習で自己対戦を繰り返し、方策を洗練させていきました。後継の AlphaZero（2017 年）は人間の棋譜を一切使わず、自己対戦だけで囲碁・チェス・将棋の 3 領域で超人的な強さに到達しました。

強化学習のビジネス応用

強化学習は、明確な「勝ち負け」があるゲームや、シミュレーション可能な環境で強みを発揮します。実務での応用例は次のようなものです。

  • ゲーム AI（囲碁・将棋・チェス、ビデオゲーム）
  • ロボット制御（動作の試行錯誤で最適化）
  • 広告配信の最適化（クリックや購入が報酬）
  • 推薦システム（ユーザーの反応が報酬）
  • 自動運転の一部モジュール（シミュレーション環境で学習）

RLHF——強化学習が LLM に応用される

LLM の Post-training で使われる RLHF（人間のフィードバックによる強化学習、Reinforcement Learning from Human Feedback）は、強化学習の枠組みを応用したものです。「人間が『どちらの応答が好ましいか』を並べたデータを報酬モデルに変換し、その報酬モデルを使って LLM の応答を学習させる」というアイデアです。RLHF の詳細はレッスン 7 で扱います。ここでは「強化学習の考え方が現代の LLM にも生きている」ことを押さえてください。

半教師あり学習と自己教師あり学習

3 分類の境界をまたぐ枠組みも、実務では重要な役割を果たします。

半教師あり学習

半教師あり学習（semi-supervised learning）は、少量のラベル付きデータと大量のラベルなしデータを組み合わせて学ぶ手法です。ラベル付きデータの用意にコストがかかる現場で、実務的な妥協点として使われます。

自己教師あり学習——ラベルを「作り出す」

自己教師あり学習（self-supervised learning）は、教師あり学習の特殊形として位置づけられます。人手でラベルを用意するのではなく、モデル自身が入力データからラベルを「作り出して」学びます。

代表例が「次単語予測」です。文章「AI は次の単語を」まで見せて、次に来る単語（例：「予測」）を予測させる。この「隠された次単語」がラベルとして機能します。ラベルは人手で付けたものではなく、テキストそのものに埋め込まれています。

📝 補足 「次単語予測」と聞くと単純そうですが、大量の多様なテキストで次単語を予測させ続けると、モデルは自然と語彙・文法・意味・世界知識・推論の初歩まで身につけていきます。これが LLM の事前学習の中核です。詳しくはレッスン 7 で扱います。

なぜ自己教師あり学習が LLM で主役なのか

自己教師あり学習が LLM の事前学習で使われるのは、次の 3 つの理由からです。

  1. ラベル付けコストがかからない：テキストがあれば学習できる
  2. データ量を桁違いに増やせる：Web 上のテキスト全体を学習素材にできる
  3. タスクが本質的：「次の単語を予測できる」ことは、言語を深く扱える能力の土台になる

パーセプトロンから Transformer までの 60 年で、教師あり学習の質の高さで性能を伸ばしてきたモデルたちが、自己教師あり学習の量の大きさで新しい段階に入った——それが 2020 年代の LLM だと言えます。

3 分類の実務での使い分け

3 分類は排他的ではなく、実務では組み合わせて使うのが普通です。以下は典型的な組み合わせ例です。

  • 教師なし＋教師あり：教師なし学習で顧客セグメントを作り、セグメントごとに教師あり学習で離反予測モデルを作る
  • 自己教師あり＋教師あり：LLM を大量テキストで自己教師あり事前学習させ、その後に少量のラベル付きデータで教師あり学習（SFT）する
  • 自己教師あり＋教師あり＋強化学習：LLM を自己教師あり事前学習させ、教師あり学習で振る舞いの型を作り、強化学習（RLHF）で好ましさを調整する

現代の LLM の学習は、実はこの 3 分類の総合演武です。1 つの技術に頼るのではなく、それぞれの得意分野を組み合わせて全体を作り上げていく——この設計思想は、レッスン 7 の Post-training でより具体的に見ていきます。

まとめ

このレッスンでは、以下のことを学びました。

  • 機械学習は「教師あり・教師なし・強化学習」の 3 分類で整理でき、ラベルの有無と行動の有無で位置づけられること
  • 教師あり学習の 2 大タスクは分類（カテゴリ予測）と回帰（数値予測）で、大量のラベル付きデータが必要になること
  • 教師なし学習はラベルなしでデータの構造（クラスタリング・次元削減）を見出し、レッスン 6 の埋め込み空間の発想にもつながること
  • 強化学習は環境との対話で報酬を最大化する枠組みで、AlphaGo が代表例、RLHF として LLM にも応用されていること
  • 自己教師あり学習は教師あり学習の特殊形で、テキストから「次単語予測」というラベルを自動で作り出す発想が LLM の事前学習の中核であること
  • 現代の LLM は 3 分類を組み合わせた総合演武として学習されていること

次のレッスンでは、学習が「なぜ進むか」の原理に踏み込みます。損失関数・勾配降下法・逆伝播という 3 つの部品を、山下りと連鎖律の比喩で理解していきます。

確認クイズ

このレッスンの理解度をチェックしましょう。