用語集 | AIの仕組みを理解する | スキルアップカレッジ

アクティブパラメータ（あくてぃぶぱらめーた）

MoE モデルで、1 トークンあたりの推論で実際に使われるパラメータの数。総パラメータより小さく、モデル容量と推論コストのトレードオフを緩和する。 → レッスン 8

汎化性能（はんかせいのう）

学習に使っていない新しいデータでも予測が当たる能力。訓練データでの高精度ではなく、この汎化性能が実務で求められる。 → レッスン 4

活性化関数（かっせいかかんすう）

ニューロンの入力合計を「発火するかどうか」の出力に変換する関数。ReLU・シグモイド・tanh などがある。 → レッスン 2

過学習（かがくしゅう）

モデルが訓練データを「丸暗記」してしまい、新しいデータで性能が落ちる現象。訓練損失は下がるが検証損失が上がる形で現れる。 → レッスン 4

隠れ層（かくれそう）

ニューラルネットワークの入力層と出力層の間の中間層。多層パーセプトロン以降のモデルで、非線形な問題を扱えるようにする役割を持つ。 → レッスン 2

回帰（かいき）

教師あり学習のタスクの 1 つで、入力から連続した数値を予測すること。不動産価格予測・売上予測などが代表例。 → レッスン 3

学習率（がくしゅうりつ）

勾配降下法で「1 回の重み更新でどれくらい動かすか」を決める設計値。歩幅の比喩で理解できる。 → レッスン 4

強化学習（きょうかがくしゅう）

機械学習の 3 分類の 1 つで、環境と対話し、報酬を最大化する行動の選び方を学ぶ枠組み。AlphaGo が代表例で、RLHF として LLM にも応用される。 → レッスン 3

教師あり学習（きょうしありがくしゅう）

機械学習の 3 分類の 1 つで、入力とラベル（正解）のペアで学ぶ手法。分類と回帰が代表タスク。 → レッスン 3

教師なし学習（きょうしなしがくしゅう）

機械学習の 3 分類の 1 つで、ラベルなしの入力データから、データの構造（グループや軸）を見出す手法。クラスタリング・次元削減が代表タスク。 → レッスン 3

クラスタリング（くらすたりんぐ）

教師なし学習の代表タスクで、データを「似たもの同士のグループ」に分ける手法。k-means・階層クラスタリングが代表的。 → レッスン 3

憲法（けんぽう）

Constitutional AI における「モデルの応答が沿うべき原則リスト」。「回答は正直で有害な行為を助長しない」など複数条項で構成される。 → レッスン 7

交差エントロピー（こうさえんとろぴー）

分類タスクで最もよく使われる損失関数。予測した確率分布と正解の確率分布の食い違いを数値化する。 → レッスン 4

勾配（こうばい）

損失関数を重みで微分した値。「どちらに重みを動かせば損失が減るか」を教えてくれる。 → レッスン 4

勾配降下法（こうばいこうかほう）

勾配を使って重みを更新する手法。「霧の山で足元の傾きを頼りに谷底を目指す」比喩で理解できる。 → レッスン 4

勾配消失問題（こうばいしょうしつもんだい）

逆伝播で誤差を後ろから配っていくとき、深い層に届く頃には勾配がほぼ 0 になってしまう現象。ReLU や残差接続で緩和される。 → レッスン 2

サブワード分割（さぶわーどぶんかつ）

単語と文字の中間の単位で文字列をトークン化する方式。BPE や SentencePiece が代表的な実装。 → レッスン 6

残差接続（ざんさせつぞく）

入力を、途中の層を飛ばして出力側に足し込む「近道の配線」。スキップ接続とも。ResNet で採用され、Transformer にも受け継がれた。 → レッスン 2

事前学習（じぜんがくしゅう）

LLM に大量のテキストで Next Token Prediction を繰り返させる工程。自己教師あり学習として位置づけられ、モデルに言語の統計的規則を吸収させる。 → レッスン 7

自己教師あり学習（じこきょうしありがくしゅう）

教師あり学習の特殊形で、モデル自身が入力データからラベルを作り出す枠組み。次単語予測が代表例で、LLM の事前学習の中核。 → レッスン 3

蒸留（じょうりゅう）

上記「じょうりゅう」参照。 → レッスン 8

順伝播（じゅんでんぱ）

ニューラルネットで入力層から出力層へ計算を進める処理。逆伝播と対をなす。 → レッスン 4

深層学習（しんそうがくしゅう）

ディープラーニング。多層のニューラルネットワークを用いた機械学習の総称。2012 年 AlexNet 以降、実務への応用が広がった。 → レッスン 2

分類（ぶんるい）

教師あり学習のタスクの 1 つで、入力をあらかじめ決められたカテゴリのどれかに振り分けること。スパム判定・画像認識などが代表例。 → レッスン 3

スケーリング則（すけーりんぐそく）

モデルサイズ・訓練データ量・計算量と性能の関係を定量的に記述する法則群。Chinchilla 則が代表例。 → レッスン 7

正則化（せいそくか）

過学習を防ぐための工夫の総称。重みの大きさを抑える L2 正則化、ランダムにニューロンを無効化する Dropout などがある。 → レッスン 4

早期打ち切り（そうきうちきり）

検証データでの損失が上がり始めたら学習を止めることで、過学習を緩和する手法。Early Stopping とも。 → レッスン 4

損失関数（そんしつかんすう）

モデルの予測と正解のずれを 1 つの数値に変換する関数。学習はこの値を最小化する方向で進む。回帰では平均二乗誤差、分類では交差エントロピーが定番。 → レッスン 4

多層パーセプトロン（たそうぱーせぷとろん）

入力層と出力層の間に隠れ層を持つニューラルネットワーク。MLP（Multi-Layer Perceptron）とも。XOR 問題を解けるようになる。 → レッスン 2

単語埋め込み（たんごうめこみ）

各単語を数百〜数千次元のベクトルに変換した表現。「king − man + woman ≈ queen」のように、意味的関係が空間内の幾何関係として現れる。 → レッスン 6

次元削減（じげんさくげん）

教師なし学習の代表タスクで、多次元のデータを本質的な少数の軸で表現し直す手法。PCA・t-SNE が代表的。 → レッスン 3

次単語予測（じたんごよそく）

文章の途中まで見せて、次に来る単語を予測させる課題。Next Token Prediction とも呼ばれ、LLM 事前学習の中核タスク。 → レッスン 7

ディープラーニング（でぃーぷらーにんぐ）

深層学習を参照。多層ニューラルネットワークを用いた機械学習の総称。 → レッスン 2

トークン（とーくん）

モデルが処理する最小単位。単語 1 個、単語の一部（サブワード）、文字 1 個のいずれかで構成される。 → レッスン 6

トークナイザー（とーくないざー）

文字列をトークンに分割し、それぞれに ID 番号を振る仕組み。BPE・SentencePiece などの手法がある。 → レッスン 6

内積（ないせき）

2 つのベクトルの「向きの一致度」を数値化する演算。Self-Attention では Query と Key の照合で使われる。 → レッスン 5

逆伝播（ぎゃくでんぱ）

出力層で計算した誤差を、後ろから前の層へ順に伝えて勾配を効率よく計算する仕組み。1986 年に Nature 誌で広く知られる形にまとめられた。 → レッスン 4

ニューラルネットワーク（にゅーらるねっとわーく）

人工ニューロン（パーセプトロン）を組み合わせて構築される計算モデル。層を深くしたものがディープラーニング。 → レッスン 2

ニューロン（にゅーろん）

ニューラルネットワークの最小単位。入力・重み・バイアス・活性化関数から成る。 → レッスン 2

パーセプトロン（ぱーせぷとろん）

1958 年にフランク・ローゼンブラットが提案した人工ニューロンの原型。入力に重みを掛けて合計し、閾値で発火するかを決める仕組み。 → レッスン 2

バイアス（ばいあす）

パーセプトロンで閾値を調整するための追加の数値。重みと共に学習で調整される。 → レッスン 2

埋め込み（うめこみ）

トークンを意味を持ったベクトルに変換する仕組み。数百〜数千次元のベクトルで、意味的関係が空間内の幾何関係として表現される。 → レッスン 6

半教師あり学習（はんきょうしありがくしゅう）

少量のラベル付きデータと大量のラベルなしデータを組み合わせて学ぶ手法。教師あり学習と教師なし学習の中間。 → レッスン 3

平均二乗誤差（へいきんにじょうごさ）

回帰タスクで最もよく使われる損失関数。予測値と正解の差の 2 乗の平均。MSE とも。 → レッスン 4

平均コサイン類似度（へいきんこさいんるいじど）

2 つのベクトルのなす角度から計算する類似度。埋め込み空間で「意味の近さ」を測るのに使われる。 → レッスン 6

報酬モデル（ほうしゅうもでる）

RLHF で「応答の好ましさを数値で予測する」ために訓練される補助モデル。人間の好み比較データから学習される。 → レッスン 7

ハルシネーション（はるしねーしょん）

生成 AI が事実でないことをもっともらしく出力する現象。Next Token Prediction の「もっともらしさ最適化」の必然的帰結で、confabulation とも呼ばれる。 → レッスン 8

万能近似定理（ばんのうきんじていり）

十分な幅の隠れ層を持つ多層 NN は、任意の連続関数を任意の精度で近似できるという定理。Universal Approximation Theorem とも。 → レッスン 2

未知語（みちご）

訓練データにない単語。単語単位のトークン化では扱えないが、サブワード分割では既知の部品の組み合わせで表現できる。 → レッスン 6

位置エンコーディング（いちえんこーでぃんぐ）

Self-Attention で失われる順序情報を、各単語の埋め込みベクトルに位置ベクトルとして足し込む仕組み。 → レッスン 5

位置埋め込み（いちうめこみ）

位置エンコーディングを参照。トークンの位置を表すベクトル。 → レッスン 6

予測（よそく）

モデルが入力から出力を推定すること。回帰では数値、分類ではカテゴリを予測する。 → レッスン 3

ラベル（らべる）

教師あり学習で用意する「正解」の情報。分類のカテゴリ、回帰の目標数値など。 → レッスン 3

量子化（りょうしか）

モデルの重みの数値精度を下げてサイズと計算量を縮める手法。float32 → int8 → int4 と精度を段階的に落とせる。 → レッスン 8

連鎖律（れんさりつ）

逆伝播の数学的な骨格となる微分の規則。「A の変化が B に影響し、B の変化が C に影響する」ときに、A の変化が C に与える影響を、途中の影響の積で計算する。 → レッスン 4

話し方の型（はなしかたのかた）

Post-training で LLM に教える「望ましい応答の振る舞い」。指示に従う・親切に答える・有害な出力を避ける、といった型。 → レッスン 7

AGI

Artificial General Intelligence。人間と同等以上に幅広いタスクをこなせる AI の理想形。現時点では研究途上の概念で、実現時期や定義にコンセンサスはない。 → レッスン 1

AlexNet

2012 年にトロント大学のクリジェフスキー・スツケヴェル・ヒントンが発表した CNN で、ImageNet Challenge を圧倒的な精度で優勝した。現在の AI ブームの起点として広く語られる。 → レッスン 2

AlphaGo

DeepMind が 2016 年に発表した囲碁 AI で、世界トップ棋士に勝利した。強化学習の代表的成功例。 → レッスン 3

Adam

Adaptive Moment Estimation。学習の進行に応じて学習率を自動調整する最適化アルゴリズム。2014 年発表、深層学習の実務で広く使われている。 → レッスン 4

Attention Is All You Need

2017 年 6 月に Google の Vaswani らが発表した Transformer の起源論文。「必要なのは Attention だけ」の意味で、RNN の逐次処理を捨て Self-Attention だけでシーケンス処理を組む提案。 → レッスン 5

BERT

Bidirectional Encoder Representations from Transformers。2018 年に Google の Devlin らが発表した Encoder 系 Transformer で、入力文の理解に特化。分類や埋め込み生成が得意。 → レッスン 5

BPE

Byte Pair Encoding。頻出する隣接ペアを逐次結合する発想のサブワード分割手法。1994 年発表のデータ圧縮アルゴリズムを 2016 年に自然言語処理へ応用。 → レッスン 6

Chain-of-Thought

CoT、思考の連鎖。2022 年に Google の Wei らが発表した「大規模モデルにプロンプトで『順を追って考えてください』と促すと性能が上がる」現象。reasoning モデルでは Post-training で内部化されている。 → レッスン 7

Chinchilla 則

2022 年に DeepMind の Hoffmann らが発表した Scaling Laws の一形態。「モデルパラメータ数と訓練トークン数をほぼ同じペースで増やすのが最適」という指針を示した。 → レッスン 7

CNN

Convolutional Neural Network。畳み込みニューラルネットワーク。画像処理を得意とするアーキテクチャで、AlexNet や ResNet が代表例。 → レッスン 2

Constitutional AI

2022 年に Anthropic の Bai らが発表した Post-training 手法。憲法と呼ばれる原則リストに沿って、モデル自身が自己批評と修正を繰り返して学習する。Claude シリーズが採用。 → レッスン 7

Dropout

学習中にランダムに一部のニューロンを無効化する正則化手法。過学習を緩和する。AlexNet で採用されて以降、深層学習の標準的な部品になった。 → レッスン 4

DPO

Direct Preference Optimization。2023 年にスタンフォード大学の Rafailov らが発表した Post-training 手法。RLHF を簡素化し、好みデータを 1 段階で直接最適化できる設計。 → レッスン 7

Encoder-Decoder

Transformer の 3 系統の 1 つ。Encoder で入力を理解し、Decoder で別の出力を生成する構造。翻訳・要約・質問応答に強く、T5 が代表例。 → レッスン 5

GPT

Generative Pre-trained Transformer。OpenAI のシリーズ名。Decoder 系 Transformer で、次単語生成に特化。ChatGPT の基盤。 → レッスン 5

GPU

Graphics Processing Unit。もともと画像処理向けに設計された並列計算チップで、行列演算の並列処理を得意とする。NVIDIA が業界標準。 → レッスン 8

ImageNet

1,000 種類以上のカテゴリで数百万枚の画像を集めた大規模データセット。2010 年代の画像認識コンペティション ILSVRC で使われ、AlexNet の突破の背景。 → レッスン 2

InstructGPT

2022 年に OpenAI の Ouyang らが発表した論文と、そのモデル。RLHF を LLM に応用し、ChatGPT の基盤となった。 → レッスン 7

KV キャッシュ

KV cache。Self-Attention で計算した Key と Value のベクトルをキャッシュに保存し、次のトークン生成時に再利用する仕組み。Transformer 推論の高速化の主役。 → レッスン 8

LSTM

Long Short-Term Memory。1997 年にホッホライターとシュミットフーバーが発表した RNN の改良版。ゲート機構を持ち、長い系列の学習を実用化した。 → レッスン 2

MoE

Mixture of Experts。モデル内部を多数の専門家に分け、入力トークンごとに一部の専門家だけを選んで使う分業アーキテクチャ。Mixtral 8x7B が代表例。 → レッスン 8

Multi-Head Attention

複数のヘッドで並列に Self-Attention を計算し、結果を結合する仕組み。文法的関係と意味的関係のような複数視点の同時扱いを可能にする。 → レッスン 5

Next Token Prediction

次単語予測。文章の途中まで見せて次の単語を予測させる課題で、LLM の事前学習の中核。 → レッスン 7

Post-training

事後学習。事前学習済みモデルに「望ましい振る舞い」の型を教える工程。SFT・RLHF・DPO・Constitutional AI などが含まれる。 → レッスン 7

QKV

Query・Key・Value の 3 種類のベクトル。Self-Attention の内部で、Query と Key の照合で関連度を出し、Value を重み付きで足して出力を作る。検索エンジンの比喩で理解できる。 → レッスン 5

RAG

Retrieval-Augmented Generation。検索拡張生成。モデルに参照可能な情報源を与え、ハルシネーションを減らす手法。 → レッスン 8

reasoning モデル

回答前に長い思考プロセスを内部で展開するモデル。Chain-of-Thought を Post-training で内部化した設計で、複雑推論に強い。 → レッスン 7

ReLU

Rectified Linear Unit。正規化線形関数。「負の値は 0、正の値はそのまま」というシンプルな活性化関数で、勾配消失問題を大きく緩和した。 → レッスン 2

ResNet

Residual Network。2015 年に Microsoft 研究所の何愷明らが発表した、残差接続を採用したアーキテクチャ。100 層を超える深い NN の学習を実用化した。 → レッスン 2

RLHF

Reinforcement Learning from Human Feedback。人間のフィードバックによる強化学習。人間の好み比較データから報酬モデルを学び、その報酬を最大化するように LLM を強化学習で微調整する Post-training 手法。 → レッスン 7

RNN

Recurrent Neural Network。再帰型ニューラルネットワーク。1 つ前のステップの出力を次のステップの入力に戻す構造で、時系列データを扱う。 → レッスン 2

SentencePiece

2018 年に Google が発表したサブワード分割ツールキット。空白のない言語（日本語・中国語・タイ語など）にも対応する汎用実装。 → レッスン 6

Self-Attention

自己注意機構。文中の各単語が同じ文中のほかの単語とどれくらい関係しているかを、モデルが自ら計算する仕組み。Transformer の中核。 → レッスン 5

SFT

Supervised Fine-tuning。教師ありファインチューニング。人間が用意した「良い応答の例」を大量に見せて、モデルに望ましい話し方の型を教える Post-training の入り口。 → レッスン 7

softmax

合計が 1 になる確率分布に変換する関数。Self-Attention では関連度スコアを重みに変換するのに使われる。 → レッスン 5

T5

Text-To-Text Transfer Transformer。Google が発表した Encoder-Decoder 系 Transformer で、あらゆるタスクを「テキスト入力→テキスト出力」に統一する設計思想が特徴。 → レッスン 5

TPU

Tensor Processing Unit。Google が AI 向けに独自設計した計算チップで、行列演算をさらに特化。Google クラウドで利用可能。 → レッスン 8

Transformer

2017 年 6 月 Google の「Attention Is All You Need」で提案されたアーキテクチャ。Self-Attention を中核に並列処理と長距離依存の扱いを両立し、現代 LLM の骨格になった。 → レッスン 5

Word2Vec

2013 年に Google の Mikolov らが発表した単語埋め込み手法。「king − man + woman ≈ queen」のような意味的関係が空間内に埋め込まれる性質が広く知られる契機になった。 → レッスン 6

XOR 問題

排他的論理和の学習問題。1 個のパーセプトロンでは解けず、隠れ層を追加した多層パーセプトロンで解けるようになる代表例。1969 年のミンスキーとパパートの指摘で知られる。 → レッスン 2