レッスン2：ニューラルネットワークの系譜——パーセプトロンからディープラーニングへ

このレッスンで学ぶこと

1 個のニューロン＝パーセプトロンの構成（入力・重み・バイアス・活性化関数）を理解する
XOR 問題と、隠れ層の追加による多層パーセプトロンへの発展を押さえる
勾配消失問題と、それを緩和した活性化関数（ReLU）や残差接続の意義を把握する
2012 年 AlexNet の衝撃と、ディープラーニング時代の始まりを時代背景とともに理解する
CNN・RNN・LSTM を、Transformer 前史として位置づけられる

前回のレッスン 1 では、AI の性能は「モデル・データ・計算資源」の 3 層で決まるという背骨のフレームを共有しました。今回からは、その 3 層のうち「モデル層」の歴史をたどります。パーセプトロンから始まり、ディープラーニング、そして Transformer に至るまでの流れを、時代背景とともに整理していきます。歴史を押さえておくと、なぜ現在のモデルがこの形をしているのかが立体的に見えてきます。

1 個のニューロンから始まる——パーセプトロン

ニューラルネットワーク（NN、Neural Network）の最小単位は、1 個の人工ニューロンです。1958 年、心理学者フランク・ローゼンブラット（Frank Rosenblatt）が発表したパーセプトロン（Perceptron）は、この人工ニューロンの原型です。ローゼンブラットは論文「The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain」を『Psychological Review』誌に発表し、視覚パターン認識の可能性を示しました。

パーセプトロンの計算はシンプルです。複数の入力値を受け取り、それぞれに「重み」を掛けて合計し、その値がある閾値を超えれば「発火」（出力 1）し、超えなければ「発火しない」（出力 0）と決めます。

flowchart LR
  X1[入力 x1] -->|重み w1| S[合計 + バイアス]
  X2[入力 x2] -->|重み w2| S
  X3[入力 x3] -->|重み w3| S
  S --> A[活性化関数]
  A --> Y[出力 y]

重みとバイアス——「どれくらい効かせるか」の設計値

重み（weight）は、各入力の影響力を表す数値です。ある入力を強く効かせたいなら重みを大きくし、あまり効かせたくないなら小さくします。バイアス（bias）は、閾値を調整するための追加の数値です。

学習とは、この重みとバイアスを、望ましい出力に近づくように少しずつ調整していく作業です。学習の詳細な仕組みはレッスン 4 で扱いますが、ここでは「重みを動かすと出力が変わる」「学習は重みを動かす作業」という直観を持っておいてください。

活性化関数——「発火」の形を決める

活性化関数（activation function）は、入力の合計を「発火するかどうか」の出力に変換する関数です。初期のパーセプトロンでは、閾値を超えれば 1、超えなければ 0 という単純な階段関数でした。後の時代には、なめらかな曲線を描くシグモイド関数（sigmoid）や、負の値を 0 に切って正の値をそのまま返す ReLU（Rectified Linear Unit、正規化線形関数）が主流になります。

💡 ポイント 活性化関数を数式で理解する必要はありません。「発火の強さの決め方」の設計選択だと押さえておけば十分です。シグモイドが使われていた時代から、ReLU が主流になった時代への移行が、ディープラーニングの大きな転換点になります。

XOR 問題と隠れ層——多層パーセプトロンへ

1 個のパーセプトロンには、大きな弱点がありました。それが XOR 問題です。XOR（排他的論理和）は「2 つの入力のうち片方だけが 1 のとき出力が 1、両方 0 または両方 1 のときは 0」というシンプルな論理演算ですが、1 個のパーセプトロンでは、この単純な問題を解けません。1969 年、マービン・ミンスキー（Marvin Minsky）とシーモア・パパート（Seymour Papert）は著書『Perceptrons』でこの限界を指摘しました。この指摘は当時のニューラルネット研究に強い冷や水を浴びせ、いわゆる「AI の冬」の一因になったと言われます。

隠れ層の追加——多層パーセプトロン

XOR 問題を解く鍵は、パーセプトロンを縦に重ねることでした。入力層と出力層の間に、中間の層を挟むのです。この中間層を隠れ層（hidden layer）と呼びます。隠れ層を持つニューラルネットワークを多層パーセプトロン（Multi-Layer Perceptron、MLP）と呼びます。

隠れ層を 1 層挟むだけで、XOR のような非線形な問題も解けるようになります。理論的には、隠れ層の幅を十分に取れば、任意の連続関数を任意の精度で近似できることも証明されています（万能近似定理、Universal Approximation Theorem）。

逆伝播の登場

多層パーセプトロンの学習には、逆伝播（backpropagation）というアルゴリズムが不可欠です。逆伝播は、出力層の誤差を隠れ層に順次「配って」重みを更新する方法で、1986 年にデビッド・ラメルハート（David Rumelhart）、ジェフリー・ヒントン（Geoffrey Hinton）、ロナルド・ウィリアムズ（Ronald Williams）が『Nature』誌の論文「Learning representations by back-propagating errors」で広く知られる形にまとめました。逆伝播の詳しい仕組みはレッスン 4 で扱います。ここでは「多層 NN を実用的に学習できるようになった」という位置づけを押さえてください。

勾配消失問題と、その克服

隠れ層をどんどん深くすれば、より複雑な問題を解けるようになる——これがディープラーニング（deep learning、深層学習）の発想です。しかし、単純に層を増やしていくと、深い層まで学習が届かない現象が起きます。これが勾配消失問題（vanishing gradient problem）です。

シグモイド関数のような活性化関数は、入力が大きくても小さくても出力が 0 か 1 に近づいてしまい、「発火の強弱の情報」がなだらかにつぶれてしまいます。逆伝播で誤差を後ろから配っていくとき、この情報のつぶれが層を経るごとに掛け合わさり、深い層に届く頃には勾配（学習の手がかり）がほぼ 0 になってしまうのです。

ReLU の採用——シンプルな活性化関数の勝利

勾配消失問題を大きく緩和したのが、ReLU の採用です。ReLU は「負の値は 0 にする、正の値はそのまま返す」というシンプルな関数です。この単純さのおかげで、正の側では勾配がつぶれず、深い層まで学習の手がかりが届きやすくなりました。

📝 補足 ReLU 以前にも、勾配消失問題を緩和する工夫は複数提案されていました。ReLU は特別に難しい発明ではなく、「単純な関数のほうが深い NN では逆に強い」という発想の転換が価値でした。深層学習では、複雑な工夫より、単純で頑健な選択が勝つことが多くあります。

残差接続——「近道」で情報を届ける

もう 1 つの重要な工夫が、残差接続（residual connection、スキップ接続とも）です。これは「入力を、途中の層を飛ばして出力側に足し込む近道の配線」を作る発想です。2015 年、マイクロソフト研究所の何愷明（Kaiming He）らが発表した ResNet（Residual Network）で採用され、100 層を超える深い NN の学習を実用化しました。残差接続は、後の Transformer にも受け継がれています。

2012 年——ディープラーニング時代の幕開け

現在の AI ブームの直接の起点として広く語られるのが、2012 年の ImageNet Challenge（ImageNet Large Scale Visual Recognition Challenge、ILSVRC）です。ImageNet は 1,000 種類以上のカテゴリで数百万枚の画像を集めた大規模データセットで、画像分類の精度を競う国際コンペティションが毎年開催されていました。

2012 年、トロント大学のジェフリー・ヒントンの研究室に所属するアレックス・クリジェフスキー（Alex Krizhevsky）、イリヤ・スツケヴェル（Ilya Sutskever）、ヒントン自身の 3 名が発表した AlexNet が、ほかのチームを 10 パーセントポイント以上引き離す圧倒的な精度で優勝しました。この結果は、当時の画像認識研究に衝撃を与え、深層ニューラルネットワークが実務に使える段階に入ったと広く認識される起点になりました。

何が AlexNet の突破を可能にしたか

AlexNet の登場は「魔法のアーキテクチャの発明」ではなく、3 つの条件がそろったことによるものでした。

モデル層の工夫：ReLU、Dropout（ランダムにニューロンを無効化する正則化手法）などの新しい部品
データ層の充実：ImageNet という大規模ラベル付きデータの存在
計算資源層の進化：GPU による並列計算の実用化。AlexNet は 2 枚の NVIDIA GPU で学習された

これはレッスン 1 で示した「モデル・データ・計算資源の 3 層」フレームがそのまま当てはまる例です。AI の飛躍は、3 層のうちどれか 1 つの改善ではなく、3 層が同時にそろったときに起こります。

Transformer 前史——CNN・RNN・LSTM

Transformer が 2017 年に登場するまで、ディープラーニングの主役は用途別に区分されていました。ここでは Transformer 前史として、主要 3 系統を押さえます。

CNN——画像認識の主役

CNN（Convolutional Neural Network、畳み込みニューラルネットワーク）は、画像処理を得意とするアーキテクチャです。画像の局所領域を「畳み込みフィルター」で走査し、特徴を抽出します。AlexNet は CNN の代表例で、2010 年代の画像認識は CNN が主役でした。医療画像の診断支援、自動運転の物体検出、顔認証など、実務での応用も広がりました。

RNN と LSTM——時系列と自然言語の主役

RNN（Recurrent Neural Network、再帰型ニューラルネットワーク）は、時系列データを扱うためのアーキテクチャです。1 つ前のステップの出力を、次のステップの入力に戻す「再帰」の構造で、文章の順序や時系列の流れを扱えます。ただし、単純な RNN は長い系列の学習が苦手でした。

これを改良したのが LSTM（Long Short-Term Memory、長短期記憶）です。1997 年、ゼップ・ホッホライター（Sepp Hochreiter）とユルゲン・シュミットフーバー（Jürgen Schmidhuber）が発表しました。LSTM は「記憶を保持するか忘れるか」を制御するゲート機構を持ち、長い系列の学習を実用化しました。2010 年代の機械翻訳や音声認識では、LSTM が主流でした。

2017 年——Transformer の登場

2017 年、Google の研究チーム（Vaswani ら）が発表した論文「Attention Is All You Need」で、Transformer が登場します。RNN の逐次処理の弱点（並列化しにくい）を、Self-Attention という新しい仕組みで解消しました。これが現代の LLM の直接の起源になります。Transformer の中身は、レッスン 5 でじっくり扱います。

flowchart LR
  A[1958<br/>パーセプトロン] --> B[1986<br/>逆伝播<br/>Rumelhart et al.]
  B --> C[1997<br/>LSTM<br/>Hochreiter & Schmidhuber]
  C --> D[2012<br/>AlexNet<br/>ImageNet 優勝]
  D --> E[2015<br/>ResNet<br/>残差接続]
  E --> F[2017<br/>Transformer<br/>Attention Is All You Need]

現代モデルへの流れ

パーセプトロンから Transformer までの 60 年近い歴史を振り返ると、AI の飛躍はモデル・データ・計算資源の 3 層が同時にそろったときに起きています。パーセプトロンの限界は隠れ層と逆伝播で克服され、勾配消失問題は ReLU と残差接続で緩和され、AlexNet の突破は大規模データと GPU の登場で可能になり、Transformer の登場は Self-Attention の発明と大規模計算資源の組み合わせで実現しました。

現在の生成 AI は、この流れの延長線上にあります。Transformer をベースに、事前学習と Post-training でさまざまな振る舞いを獲得し、MoE や量子化などの効率化で実運用に耐える形に整えられています。これから 6 レッスンで、この現代モデルの中身に踏み込んでいきます。

まとめ

このレッスンでは、以下のことを学びました。

パーセプトロンは 1958 年にローゼンブラットが提案した人工ニューロンの原型で、入力・重み・バイアス・活性化関数から成ること
1 個のパーセプトロンでは XOR 問題が解けず、隠れ層を持つ多層パーセプトロンが必要になったこと
1986 年の逆伝播が多層 NN の実用的な学習を可能にしたこと
勾配消失問題は ReLU の採用と残差接続の発想で緩和され、深い NN が実用化されたこと
2012 年の AlexNet が、モデル・データ・計算資源の 3 層がそろった好例として現在の AI ブームの起点になったこと
CNN（画像）、RNN と LSTM（時系列・自然言語）を経て、2017 年の Transformer が現代 LLM の直接の起源になったこと

次のレッスンでは、AI が「学ぶ」とはどういうことかを整理します。教師あり学習・教師なし学習・強化学習という 3 分類を軸に、それぞれの使いどころと、LLM の事前学習が「自己教師あり学習」に位置づけられる理由を扱います。

確認クイズ

このレッスンの理解度をチェックしましょう。