本文へスキップ
スキルアップカレッジ

用語集

社内向けRAG入門コースで使われる主要な用語(115語)をまとめています。

インデックス (いんでっくす)
文書やチャンクを検索可能な形で格納するデータ構造の総称。RAG では、埋め込みベクトルを ANN 索引(HNSW/IVF/PQ など)で格納し、メタデータを紐づけて絞り込み可能にする。文書の更新に応じてインデックスも更新(差分・削除・再インデックス)する必要がある。→ レッスン 2、レッスン 4
埋め込み (うめこみ)
テキストや画像などのデータを、高次元の数値ベクトルに変換したもの。近い意味のデータはベクトル空間で近くに配置される。RAG ではチャンクを埋め込みベクトルに変換して索引化し、クエリベクトルとの類似度で検索する。→ レッスン 3
埋め込みモデル (うめこみもでる)
テキストを埋め込みベクトルに変換するモデル。クローズド API(OpenAI・Cohere・Voyage AI・Google Gemini)、OSS(multilingual-e5・bge-m3・sup-simcse-ja・ruri など)、多言語モデル、日本語特化モデルの 4 象限で選定する。次元数とコスト・精度のトレードオフがある。→ レッスン 3
OCR(おーしーあーる)
Optical Character Recognition の略。画像から文字を認識する技術。紙をスキャンした PDF や写真・帳票の文書化に不可欠。Google Document AI・Azure Document Intelligence・Amazon Textract・PaddleOCR・Tesseract などが使われる。→ レッスン 2
OWASP (おわすぷ)
Open Worldwide Application Security Project の略。Web アプリケーションのセキュリティに関する国際的な非営利コミュニティ。近年は「LLM Applications 向けの Top 10 リスク」も公開し、社内 RAG のセキュリティ設計の参考になる。→ レッスン 7
カットオフ (かっとおふ)
LLM の事前学習データの締切日。カットオフ以降の情報は LLM 単体では回答できないため、RAG で最新情報を注入する必要がある動機の 1 つ。→ レッスン 1
改正個情法 (かいせいこじょうほう)
個人情報保護法の改正版。2022 年 4 月に大改正が全面施行、以降 3 年ごとに見直しがあり、2025 年 3 月には「いわゆる 3 年ごと見直し」の中間整理が公表された。社内 RAG の設計は最新版に沿う必要がある。→ レッスン 7
会話履歴付き検索 (かいわりれきつきけんさく)
チャット UI での RAG で、直近数ターンの履歴と最新クエリを LLM に渡し「単独で意味が通るクエリ」に書き換えてから検索する手法(Query Rewriting)が実務の定番。省略された文脈を復元して検索精度を保つ狙い。→ レッスン 5
監査ログ (かんさろぐ)
「誰が・いつ・何を・どう検索したか」を記録するログ。社内 RAG では必須の運用要素で、法令要件・業界規制・社内ガバナンスの要請に応える。日次・週次で定型レポートを流す運用が有効。→ レッスン 7
経済産業省 AI 事業者ガイドライン(けいざいさんぎょうしょう えーあいじぎょうしゃがいどらいん)
経済産業省と総務省が 2024 年 4 月に公表(Ver 1.0)した、AI を提供・利用する事業者の指針。透明性・公平性・安全性の原則を提示。改訂が続いており最新版を参照する。→ レッスン 7
検索段階 (けんさくだんかい)
RAG の 4 段階アーキテクチャの 3 段階目。ベクトル検索・ハイブリッド検索・リランクによって、クエリに関連するチャンクを取り出す段。「検索の品質が生成の品質の天井を決める」の主戦場。→ レッスン 4
検索評価指標 (けんさくひょうかしひょう)
RAG の検索段階の性能を測る指標群。Recall@k・MRR・nDCG・Hit Rate が代表。1 つの指標だけで判断せず、複数を並行して見るのが実務。→ レッスン 6
権限伝播 (けんげんでんぱ)
元文書に付いていた権限を、RAG の索引・検索・応答の全段階で保つ設計。Document-level ACL・行レベルセキュリティ・マルチテナント分離の 3 階層で扱う。→ レッスン 7
行レベルセキュリティ (ぎょうれべるせきゅりてぃ)
Row-Level Security(RLS)の日本語表現。データベースが持つ機能で、「特定の行をどのユーザーが見られるか」を DB 層で強制する。pgvector(PostgreSQL)ではネイティブに使える。→ レッスン 7
クエリ書き換え (くえりかきかえ)
Query Rewriting の日本語表現。ユーザーのクエリを、検索に効く形に LLM で書き換える処理。会話履歴を組み込んだ書き換えなど、実務で広く用いられる。→ レッスン 5
固定長チャンク (こていちょうちゃんく)
文書を N 文字(あるいは N トークン)ごとに区切るチャンキング方式。実装が単純で、あらゆる文書に適用できる一方、文の途中や段落の途中で切れるため文脈が壊れやすい弱点がある。→ レッスン 3
ゴールデンセット(ごーるでんせっと)
「代表的な質問と、期待される回答、参照すべき正解チャンク」のセット。RAG 評価の基準として最初に 50〜200 件を用意し、実運用ログを追加しながら育てる。→ レッスン 6
差分検出 (さぶんけんしゅつ)
文書ソースの updated_at やハッシュ値を比較し、変更のあった文書だけを再処理する更新戦略。SharePoint・Confluence の API は差分同期に対応している。→ レッスン 2
索引段階 (さくいんだんかい)
RAG の 4 段階アーキテクチャの 2 段階目。文書を意味のある単位に切り分け、ベクトル化して DB に格納する段。この段階の設計が検索精度の天井を決める。→ レッスン 3
事後フィルタ (じごふぃるた)
ベクトル検索した候補から、メタデータ条件で絞り込む方式。実装は単純だが、上位候補が条件でごっそり消える場合、必要件数が集まらないリスクがある。→ レッスン 4
事前フィルタ (じぜんふぃるた)
先にメタデータで絞り、その中でベクトル検索する方式。絞り込みが強いと候補が少なくなり、ANN 索引の効率が下がる場合がある。→ レッスン 4
出典表示 (しゅってんひょうじ)
RAG 応答の直下に、回答の根拠となった文書・チャンクを提示する仕組み。番号引用([1][3] のような形式)と併用し、クリックで元文書に飛べる UI にするのが定番。「出典なき AI 回答は社内で信頼されない」というのが本コースの原則。→ レッスン 5、レッスン 7
シャドウトラフィック(しゃどうとらふぃっく)
本番の質問を、変更前 RAG と変更後 RAG の両方に流し、結果を並行して比較する評価手法。ユーザーには変更前だけを返し、変更後は評価用に蓄積する。リスクなく本番トラフィックで評価できる。→ レッスン 6
生成段階 (せいせいだんかい)
RAG の 4 段階アーキテクチャの 4 段階目。検索で取り出した文書とクエリを LLM に渡し、応答を生成する段。RAG 特化のプロンプト設計(参照情報のみ・出典明示・該当なし応答)が中心。→ レッスン 5
生成評価指標 (せいせいひょうかしひょう)
RAG の生成段階の性能を測る指標群。Ragas の Faithfulness・Answer Relevancy・Context Precision・Context Recall が代表。→ レッスン 6
セマンティックチャンキング (せまんてぃっくちゃんきんぐ)
隣り合う文のベクトル距離が閾値を超えた地点で境界を切るチャンキング方式。話題の切り替わりで自動的に区切れるのが利点で、構造が薄い自由記述文で威力を発揮する。→ レッスン 3
全文検索 (ぜんぶんけんさく)
文書中の任意のキーワードで検索する古典的な検索方式。BM25 が代表的なスコアリング。RAG ではベクトル検索とハイブリッドに組み合わせるのが定番。→ レッスン 4
多言語モデル (たげんごもでる)
複数言語に対応する埋め込みモデル。intfloat/multilingual-e5、BAAI/bge-m3、Cohere embed-multilingual などが代表。多国籍・多言語資料を含む社内 RAG に向く。→ レッスン 3
単言語モデル (たんげんごもでる)
特定言語(本コースでは日本語)に特化した埋め込みモデル。cl-nagoya/sup-simcse-ja、cl-tohoku/bert-base-japanese、ruri などが代表。日本語だけの社内文書なら精度で有利なことがある。→ レッスン 3
チャンキング (ちゃんきんぐ)
文書を検索・生成に適した単位に切り分ける処理。固定長・段落/見出しベース・セマンティック・親子(Parent-Child)・要約の 5 種類が代表。単一方式にこだわらず、文書種別ごとに使い分けるのが実務。→ レッスン 3
チャンク (ちゃんく)
チャンキングで生成された、検索・引用の単位となる文書の断片。埋め込みベクトルとメタデータをセットにしてベクトル DB に格納する。→ レッスン 3
定着 (ていちゃく)
社内 RAG 展開 4 段階の最終段階。RAG が「使うか使わないか迷うツール」から「業務プロセスの一部」になる状態。多くの組織で最大の壁になる段階で、「PoC は 8 割成功する、定着で 8 割詰まる」の主戦場。→ レッスン 8
データ段階(でーただんかい)
RAG の 4 段階アーキテクチャの 1 段階目。社内文書を集め、抽出・クリーニングし、メタデータを付与する段。「RAG の 8 割は LLM の外側で決まる」の中心。→ レッスン 2
電子文書管理 (でんしぶんしょかんり)
社内文書のバージョン・権限・改訂履歴を組織的に管理する仕組み。RAG の文書パイプラインは、電子文書管理の資産に大きく依存する。→ レッスン 2
二重防御(にじゅうぼうぎょ)
検索段階と生成段階の両方で権限フィルタを掛ける多重防御の設計。「万一検索側が誤ってチャンクを返しても、生成側は権限外のものを一切渡さない」ことを狙う。→ レッスン 7
ハイブリッド検索 (はいぶりっどけんさく)
BM25 のようなキーワード検索と、ベクトル検索を組み合わせる手法。Reciprocal Rank Fusion(RRF)などでランクを融合する。社内 RAG の検索精度を多くの場合で明確に向上させる。→ レッスン 4
パイロット (ぱいろっと)
社内 RAG 展開 4 段階のうち、PoC の次に来る「部門パイロット」段階。特定部門で実運用に近い形で使ってもらい、業務プロセスへの組み込みを検証する。→ レッスン 8
PII マスキング(ぴーあいあいますきんぐ)
Personally Identifiable Information(個人識別情報)を検出して伏せる処理。氏名・メール・電話番号・マイナンバー・社員番号などが対象。文書取り込み時に行うのが原則で、埋め込みには意味情報が残るため「後で消す」は成立しない。→ レッスン 7
フォールバック応答(ふぉーるばっくおうとう)
「参照情報に該当がない」「権限で見えない」「鮮度切れ」といった状況で、間違った答えを作らずに「わからない」を上手に返す設計。RAG の信頼を築く要石。→ レッスン 5
部門パイロット (ぶもんぱいろっと)
社内 RAG 展開 4 段階の 2 段階目。特定部門に絞って実運用に近い形で使う。利用率・CSAT・業務時間削減を KPI にする。→ レッスン 8
プロンプトインジェクション (ぷろんぷといんじぇくしょん)
LLM のプロンプトに悪意ある指示を紛れ込ませ、意図しない動作を引き起こす攻撃。Direct(ユーザーが直接投げる)と Indirect(参照文書に埋め込まれた指示が RAG 経由で発動)の 2 種類がある。→ レッスン 7
ベクトル検索 (べくとるけんさく)
クエリと文書を同じ埋め込み空間に置き、コサイン類似度や内積で「近い」文書を高速に取り出す検索。数百万〜億単位のベクトルに対応するため、ANN 索引(HNSW/IVF/PQ など)を用いる。→ レッスン 4
ベクトルデータベース(べくとるでーたべーす)
埋め込みベクトルを格納し、ANN 索引で近傍検索する専用データストア。pgvector・Elasticsearch/OpenSearch・Weaviate・Qdrant・Milvus・Pinecone・Chroma・Vespa などが代表。→ レッスン 4
マルチテナント分離 (まるちてなんとぶんり)
複数の組織・部門で同じ RAG 基盤を使う場合に、テナント間で文書やクエリが混在しないよう厳密に分離する設計。テナントごとにインデックスを分ける、あるいはテナント ID をメタデータで厳密に絞る、といった実装がある。→ レッスン 7
メタデータ(めたでーた)
チャンクや文書に紐づく属性情報。部署・権限タグ・文書種別・有効期間・作成日・改訂日・作成者・ソース種別・元 URL・言語・チャンク ID・親文書 ID などが代表。RAG の権限・鮮度・出典・失敗分析すべての土台となる。→ レッスン 2
メタデータフィルタ(めたでーたふぃるた)
ベクトル検索の候補を、部署・期間・権限タグなどのメタデータで絞り込む処理。事前・事後・ハイブリッドの実装があり、権限タグでのフィルタは社内 RAG のセキュリティの前提。→ レッスン 4
要約チャンク (ようやくちゃんく)
親文書ごとに LLM で要約を生成し、要約を検索対象にするチャンキング方式。マニュアル・規程・議事録のような長文で、質問と本文の距離が遠い場合に有効。→ レッスン 3
リグレッション検出 (りぐれっしょんけんしゅつ)
CI や日次バッチでゴールデンセットに対する各指標を計測し、閾値を下回ったらアラートを飛ばす仕組み。チャンキング・埋め込み・プロンプトの変更で指標がどう動いたかを機械的に検出する。→ レッスン 6
リランキング(りらんきんぐ)
ハイブリッド検索で返した上位 50〜100 件を、もう一度クエリとの関連度で並べ替える段。Cross-Encoder、Cohere Rerank、LLM Rerank の 3 種類が代表。効果と追加コストのバランスで判定する。→ レッスン 4
ACL(あくせすこんとろーるりすと)
Access Control List の略。「誰が何にアクセスできるか」の一覧。RAG では、元文書に付いていた ACL をチャンクのメタデータに継承する Document-level ACL の設計が中核。→ レッスン 7
Agentic RAG(えーじぇんてぃっくらぐ)
RAG をエージェントの内部に組み込み、エージェントが検索クエリを反復設計する形の発展形。単一の検索と生成ではなく、検索と推論を繰り返して答えに近づく。→ レッスン 1、レッスン 8
ANN(えーえぬえぬ)
Approximate Nearest Neighbor(近似最近傍探索)の略。数百万〜億単位のベクトルから最近傍を効率的に求める索引・探索技法の総称。HNSW・IVF・PQ が代表的な方式。→ レッスン 4
Anthropic (あんそろぴっく)
米国の AI 研究企業。Claude モデルを提供し、2024 年 11 月に Model Context Protocol、2024 年 9 月に Contextual Retrieval を公開するなど、RAG 周辺の技術標準化に大きく貢献している。→ レッスン 3
Answer Relevancy(あんさーれればんしー)
Ragas の生成評価指標の 1 つ。「回答がユーザーのクエリに対して的を射ているか」を測る。LLM に「この回答から生成されそうな質問」を作らせ、元クエリとの意味的近さで測定する実装がある。→ レッスン 6
Bi-Encoder(ばいえんこーだー)
クエリと文書を **別々に** エンコードして埋め込みベクトルにするモデル設計。埋め込みモデルの多くはこの Bi-Encoder。同じクエリと文書を **同時に** エンコードして関連度を出力する Cross-Encoder より高速で、初期検索に向く。→ レッスン 4
BM25(びーえむにじゅうご)
Robertson & Zaragoza による古典的な全文検索アルゴリズム。キーワードの完全一致検索に強く、ハイブリッド検索でベクトル検索と組み合わせる。→ レッスン 4
Chroma (くろま)
軽量な OSS ベクトル DB。2022 年公開、Apache 2.0。Python エコシステム親和性が高く、プロトタイピングと小規模社内 RAG に向く。→ レッスン 4
Cohere Rerank(こひあ りらんく)
Cohere 社が提供するリランク専用モデルの API。多言語対応で、日本語でも実用的な精度が出る。マネージドで導入が軽い。→ レッスン 4
Confluence (こんふるえんす)
Atlassian が提供する Wiki/ナレッジ管理ツール。REST API・CQL でページ・添付ファイル・スペース権限を取得できる。社内 RAG の代表的な文書ソース。→ レッスン 2
Context Precision (こんてくすとぷれしじょん)
Ragas の生成評価指標の 1 つ。検索で取得したコンテキストの中で、実際に回答に必要だったチャンクが上位に来ているかを測る。ノイズが混入していると値が下がる。→ レッスン 6
Context Recall(こんてくすとりこーる)
Ragas の生成評価指標の 1 つ。「回答に必要だった情報」のうち、検索で取れたコンテキストにカバーされている割合。Faithfulness とセットで見ると実務的な意味が明確になる。→ レッスン 6
Contextual Retrieval(こんてくすちゅあるりとりーばる)
Anthropic が 2024 年 9 月に公開した RAG の改善手法。各チャンクの手前に「このチャンクは何について述べているか」の短い説明を LLM で生成して付ける。ハイブリッド検索と組み合わせるとさらに効果的。→ レッスン 3
Corrective RAG(CRAG、これくてぃぶらぐ)
検索結果の関連度を評価し、関連度が低ければ Web 検索など別ソースにフォールバックする、または結果を書き直す形の RAG 発展形。→ レッスン 1
Cross-Encoder(くろすえんこーだー)
Sentence-BERT の系譜で、クエリと候補文書を同時に Transformer に入れて関連度スコアを出力するリランクモデル。Bi-Encoder(埋め込みモデル)より精度が高いが計算コストが高い。→ レッスン 4
CSAT(しーさっと)
Customer Satisfaction Score。顧客満足度指標。5 段階評価などで測る。社内 RAG では「業務での使いやすさ」を測る KPI として利用率と併用する。→ レッスン 8
DeepEval(でぃーぷいばる)
Confident AI が主導する OSS の RAG 評価フレームワーク。Pytest 風の記述で単体テスト感覚で評価を書け、CI に組み込みやすい。→ レッスン 6
Document-level ACL(どきゅめんとれべる えーしーえる)
文書レベルのアクセス制御。元文書に付いていた権限(部門タグ・役職以上・特定チームなど)を、チャンクのメタデータに継承する権限伝播設計の中核。→ レッスン 7
Elasticsearch(いらすてぃっくさーち)
Elastic 社の全文検索エンジン。8.x 系列で dense_vector と kNN 検索、ハイブリッド検索が組み込まれ、社内 RAG のバックエンドとしても使われる。→ レッスン 4
Faithfulness (ふぇいすふるねす)
Ragas の生成評価指標の中核。生成された回答の各主張が、参照情報(コンテキスト)に含まれるかを測る。ハルシネーションを直接測る指標として社内 RAG では最重要。→ レッスン 6
FAISS (ふぇいす)
Meta AI(旧 Facebook AI Research)が公開したベクトル類似検索ライブラリ。研究用途で長く使われ、IVF・PQ などの索引実装のリファレンスとなっている。→ レッスン 4
Google Drive(ぐーぐるどらいぶ)
Google のクラウドストレージ。Google Drive API v3 でファイル一覧・本文・permissions を取得できる。社内 RAG の文書ソースとして SharePoint・Confluence と並ぶ代表格。→ レッスン 2
GraphRAG(ぐらふらぐ)
文書から知識グラフを抽出し、グラフ検索とベクトル検索を組み合わせる RAG 発展形。エンティティ間の関係が重要な文書(組織図・製品階層・法令間の参照など)で有効。→ レッスン 1、レッスン 8
HNSW (えいちえぬえすだぶりゅ)
Hierarchical Navigable Small World の略。Yu. A. Malkov & D. A. Yashunin が 2016 年に arXiv で発表した多層グラフの近似最近傍探索索引。多くのベクトル DB で標準採用され、精度と速度のバランスが良い。→ レッスン 4
Hit Rate(ひっとれーと)
上位 k 件に 1 つでも正解チャンクが含まれる割合。Recall@k と近い概念だが、正解が単一か複数かで扱いが異なる場合がある。→ レッスン 6
HyDE(はいでぃー)
Hypothetical Document Embedding の略。Luyu Gao らが 2022 年に arXiv:2212.10496 で提唱した手法。LLM が仮想の回答文を生成し、その埋め込みを検索クエリとして使う。短いクエリ・話し言葉のクエリで特に効く。→ レッスン 5
Indirect Prompt Injection (いんだいれくとぷろんぷといんじぇくしょん)
参照文書に埋め込まれた悪意ある指示が、RAG 経由で LLM に届いて発動する攻撃。外部から取り込んだ資料、外部システム連携経由の内容、内部脅威などが経路になる。参照情報の分離明示・信頼できる文書源の限定・監視・出力検証で対策する。→ レッスン 7
intfloat/multilingual-e5
Microsoft Research と intfloat が公開した多言語埋め込みモデル。small・base・large の 3 サイズが用意され、次元数と精度のバランスで選べる。日本語でも安定した精度で、社内 RAG の OSS 埋め込みの定番の 1 つ。→ レッスン 3
IVF (あいぶいえふ)
Inverted File Index の略。空間を k-means などでクラスタに分け、クエリはまず「近いクラスタ」を選び、その中を厳密に探索する近似最近傍探索索引。Milvus・FAISS などで採用。→ レッスン 4
KPI(けーぴーあい)
Key Performance Indicator。社内 RAG では「利用率・検索成功率・業務時間削減・CSAT」の 4 軸で並行して追うのが実務の定番。→ レッスン 8
LangChain(らんぐちぇーん)
Harrison Chase が 2022 年 10 月に公開した LLM アプリケーション構築のためのフレームワーク。RAG の実装で広く使われる。→ レッスン 3
LlamaIndex(らまいんでっくす)
Jerry Liu が公開した RAG/エージェント特化のフレームワーク。旧名 GPT Index。文書取り込み・索引・検索・生成の各段階に豊富な部品を持つ。→ レッスン 3
LLM as a Judge (えるえるえむ あず あ じゃっじ)
RAG の評価指標を「LLM に採点させる」実装アプローチ。Ragas・TruLens・DeepEval など多くの評価フレームワークがこの設計を採用する。採点用 LLM の質が評価結果を左右するため、社内 RAG では高精度モデルを採点用に選ぶ。→ レッスン 6
LLM Rerank(えるえるえむ りらんく)
GPT-4・Claude・Gemini のような汎用 LLM に「クエリと候補文書の関連度を採点して」と頼むリランク方式。精度は高いが、コスト・レイテンシが最も高い。→ レッスン 4
Lost in the Middle (ろすと いん ざ みどる)
Nelson F. Liu らが 2024 年 TACL で発表した論文(arXiv:2307.03172)。多くの LLM は与えたコンテキストの中央部の情報を無視しやすいと報告。RAG では関連度が高いチャンクを先頭・末尾に配置する対策が有効。→ レッスン 5
MCP(えむしーぴー)
Model Context Protocol の略。Anthropic が 2024 年 11 月に公開した、LLM と外部システム連携のためのオープンプロトコル。RAG からは外部システムを呼び出す観点で関わる。プロトコル仕様の詳細は本コースでは扱わない。→ レッスン 1
MeCab (めかぶ)
京都大学発の日本語形態素解析器。IPA 辞書・Neologd 辞書・UniDic 辞書などを切り替えて使う。長い歴史があり、資料も豊富。→ レッスン 2
Milvus (みるばす)
Zilliz 主導、Linux Foundation の LF AI & Data 傘下、Apache License の OSS ベクトル DB。大規模水平スケールが得意で、GPU 索引もサポート。→ レッスン 4
MRR(えむあーるあーる)
Mean Reciprocal Rank(平均逆順位)。正解チャンクが最初に現れた順位の逆数の平均で、「上位に近いほど価値が高い」検索の評価に向く。→ レッスン 6
MTEB(えむてぃーいーびー)
Massive Text Embedding Benchmark。HuggingFace が提供する埋め込みモデルの主要ベンチマーク集で、多言語・多タスクの評価をカバーする。日本語は JMTEB として整備。→ レッスン 3
Multi-Query (まるちくえり)
1 つのユーザークエリから LLM で複数の言い換えクエリを生成し、それぞれで検索して結果を統合する手法。表現の揺れを吸収できる一方、LLM 呼び出しと検索呼び出しがクエリ数だけ増える。→ レッスン 5
nDCG(えぬでぃーしーじー)
normalized Discounted Cumulative Gain。順位ごとに関連度スコアを割引きながら合計し、理想順序との比で正規化する検索評価指標。正解に「よりよい正解」と「関連度が中程度」の差がある場合に強い。→ レッスン 6
NIST AI RMF(にすと えーあい あーるえむえふ)
米国立標準技術研究所(NIST)が 2023 年 1 月に公表した AI Risk Management Framework 1.0。国際的な参照フレームワークとして社内 RAG のガバナンス設計の骨格に有用。→ レッスン 7
Notion(のーしょん)
ブロックベースの Wiki/プロジェクト管理サービス。Notion API v1 でページ・データベースを取得できる。ブロック階層を辿ってテキスト化する必要がある。→ レッスン 2
OpenSearch(おーぷんさーち)
Amazon が Elasticsearch から Fork した OSS 全文検索エンジン。Apache 2.0。dense_vector と kNN 検索でハイブリッド検索に対応。→ レッスン 4
Parent-Child チャンク (ぺあれんとちゃいるどちゃんく)
同じ文書を親(大きなチャンク)と子(小さなチャンク)の 2 階層で索引化する方式。子で検索し、当たった子を含む親を LLM に渡す。「検索は精密に、生成には広い文脈を」を両立する。→ レッスン 3
pdfplumber(ぴーでぃーえふぷらんばー)
Python の PDF テキスト抽出ライブラリ。表構造の抽出に強い。テキスト PDF の代表的な抽出ツールの 1 つ。→ レッスン 2
pgvector(ぴーじーべくたー)
PostgreSQL の拡張として動作するベクトル DB。Andrew Kane が開発、OSS。SQL でメタデータ絞り込みが柔軟にでき、既存 PostgreSQL 資産の上でベクトル検索を実現できる。→ レッスン 4
Pinecone(ぱいんこーん)
2019 年創業のフルマネージド ベクトル DB SaaS。API が単純で立ち上げが速く、PoC・小〜中規模社内 RAG の第一選択に挙がることが多い。→ レッスン 4
PoC(ぴーおーしー)
Proof of Concept(技術検証)。社内 RAG 展開 4 段階の最初の段。少数の質問セット、限定した文書ソース、簡易 UI で「基本形が動くか」を示す 4〜8 週間の段階。→ レッスン 8
Product Quantization(PQ、ぷろだくとくおんてぃぜーしょん)
Jégou et al. 2011 年の論文で示された、ベクトルを複数の部分に分割して各部分を代表点の ID で表現する圧縮技法。数十バイト程度までベクトルを圧縮でき、HNSW×PQ、IVF×PQ の組み合わせが典型。→ レッスン 4
PyPDF(ぱいぴーでぃーえふ)
Python の PDF 処理ライブラリの代表格。テキスト抽出・ページ操作が可能。PyPDF2・PyPDF3 の系譜を経て、現行の PyPDF に至る。→ レッスン 2
Qdrant(くどらんと)
Rust ベース OSS ベクトル DB。事前フィルタと HNSW の実装が速く、API が Python 中心で扱いやすい。→ レッスン 4
Query Expansion (くえりえきすぱんしょん)
事前に用意した同義語辞書・略語辞書・表記揺れテーブルで、クエリを機械的に拡張する手法。LLM 呼び出しがなくコストが小さい一方、辞書メンテナンスが必要。→ レッスン 5
Ragas(らがす)
Explodinggradients が主導する OSS の RAG 評価フレームワーク。Faithfulness・Answer Relevancy・Context Precision・Context Recall の指標を体系化し、RAG 評価の業界標準の位置づけ。→ レッスン 6
RAG(らぐ、Retrieval-Augmented Generation、検索拡張生成)
Patrick Lewis らが 2020 年 NeurIPS で発表した論文で概念が定式化された、事前学習済み生成モデルに外部の知識源から検索した文書を組み合わせる設計。カットオフ後の情報や社内文書を LLM に使わせる用途で広く採用される。→ レッスン 1
Recall@k(りこーる あっと けー)
上位 k 件の中に正解チャンクが含まれる割合。RAG の検索段階を評価する基本指標で、生成段階に渡す件数(例:5 件)と揃えて設計するのが基本。→ レッスン 6
Reciprocal Rank Fusion(RRF、りしぷろかる らんく ふーじょん)
複数の検索方法の順位を `1 / (k + rank)`(k は定数、通常 60)で重み付けし、合計スコアで並べ替える融合手法。方法間のスコアスケールが違ってもうまく機能する利点がある。→ レッスン 4
Self-RAG(せるふらぐ)
生成過程で「そもそも検索が必要か」「取ってきた文書は役に立ったか」を LLM 自身がタグ付きで判定する RAG 発展形。Akari Asai らが 2023 年に提唱した。→ レッスン 1
Sentence-BERT(せんてんすばーと)
Reimers & Gurevych が 2019 年 EMNLP で発表(arXiv:1908.10084)。文レベルの埋め込み表現とリランクの基盤研究として、埋め込みモデルの多くの実装のベースになっている。→ レッスン 4
SharePoint (しぇあぽいんと)
Microsoft 365 のドキュメント管理・コラボレーション基盤。Microsoft Graph API 経由でファイル一覧・本文・権限情報を取得できる。日本企業の RAG ソースとして最も多い基盤の 1 つ。→ レッスン 2
Structured Outputs(すとらくちゃーどあうとぷっつ)
生成 LLM に JSON 形式など構造化されたスキーマで応答させる機能。RAG では「回答本文」「出典番号のリスト」「信頼度」を分離して返させる用途で使う。→ レッスン 5
Sudachi (すだち)
Works Applications が公開した Apache 2.0 の日本語形態素解析器。A モード(短単位)・B モード(中単位)・C モード(長単位)の 3 段階分割ができ、社内 RAG での使い分けに役立つ。→ レッスン 2
TruLens (とぅるれんず)
TruEra が主導する OSS の RAG 評価フレームワーク。ダッシュボードとロギングに強く、Ragas・DeepEval と補完的に使われる。→ レッスン 6
Vespa (べすぱ)
Yahoo 発の OSS 大規模検索エンジン。Apache 2.0。大規模検索とランキングに強く、水平スケールが得意。学習曲線は他より急。→ レッスン 4
Weaviate(うぃーびえいと)
Weaviate B.V. が主導するオランダ発の OSS ベクトル DB。GraphQL 中心の DSL、モジュール式のパイプライン(埋め込み・リランクをプラグイン化)が特徴。→ レッスン 4
← 社内向けRAG入門 に戻る