AIの仕組みを理解する

AI の性能は 3 つの層で決まる——モデル・データ・計算資源

AI の性能を「モデル・データ・計算資源」の 3 層フレームで捉える。本コースの位置づけ（仕組み側の入門）と守備範囲、生成 AI の入門レベルで触れる内容を 8 レッスン規模で深堀りするロードマップ、仕組みを知る意義（投資判断・失敗の切り分け・ベンダー説明）を学ぶ

ニューラルネットワークの系譜——パーセプトロンからディープラーニングへ

1 個のニューロン＝パーセプトロン（Rosenblatt, 1958）、重みと活性化関数、XOR 問題と隠れ層、勾配消失問題と ReLU・残差接続、2012 年 AlexNet の衝撃、CNN・RNN・LSTM の位置づけ（Transformer 前史）を学ぶ

学習の 3 分類——教師あり・教師なし・強化学習

教師あり学習（分類・回帰）、教師なし学習（クラスタリング・次元削減）、強化学習（AlphaGo）と報酬・方策の直観、半教師あり／自己教師あり学習の位置づけ、LLM の事前学習が自己教師あり学習である理由を学ぶ

学習が進む原理——損失関数・勾配降下・逆伝播

損失関数の直観（間違いの物差し）、平均二乗誤差と交差エントロピー、勾配降下法の山下り比喩と学習率、ミニバッチ SGD と Adam の名前紹介、逆伝播を「誤差を後ろから配る」比喩で、過学習・汎化性能・Dropout を学ぶ

Transformer の中身——Self-Attention と QKV

2017 年『Attention Is All You Need』（Vaswani et al., Google）、Self-Attention の直観、QKV（Query・Key・Value）を検索と情報取り出しの比喩で、softmax と内積を「見たことがあるレベル」で、Multi-Head Attention、位置エンコーディング、Encoder / Decoder / Encoder-Decoder の 3 系統（BERT / GPT / T5）を学ぶ

トークンと埋め込み——BPE と意味のベクトル空間

トークナイザーの役割、Byte Pair Encoding（BPE）と SentencePiece、語彙サイズと日本語トークナイザの特殊事情、埋め込み（embedding）の空間、king − man + woman ≈ queen の直観（Word2Vec 的説明）、Transformer 入力側の token embedding + position embedding を学ぶ

事前学習から Post-training へ——SFT・RLHF・DPO・Constitutional AI

事前学習＝ Next Token Prediction を自己教師あり学習として位置づけ、Chinchilla 則（Hoffmann et al., 2022）の直観、SFT（お手本で学ぶ）、RLHF（InstructGPT, Ouyang et al., 2022、好みで学ぶ）、DPO（Rafailov et al., 2023、RLHF 簡素化）、Constitutional AI（Bai et al., 2022, Anthropic、原則で学ぶ）、reasoning モデル内部（CoT の Post-training 内部化）を学ぶ

効率化と推論最適化——MoE・量子化・蒸留・KV キャッシュ・GPU / TPU

なぜ効率化が必要か（コスト・レイテンシ・環境負荷）、MoE（Mixture of Experts、分業アーキテクチャ）、量子化（float32 → int8／int4）、蒸留（先生 → 生徒モデル）、KV キャッシュ（推論高速化の主役）、GPU と TPU、ハルシネーションを仕組み側から再解説、コース修了後の学び方向を学ぶ