LLM_RAG_API_Vector_zukai_bunkei

うさ うさ 研修 工房 文系 の方 へ 図解でわかる LLM・RAG・API・ベクトル むずかしい用語なしで、ぜんぶ「ラーメン店」でたとえます 「面白きこともなき世を面白く」

まずは“お話”で全体像 AIが質問に答えるまでを、ラーメン店の1日でたとえると… お客さんの注文が、料理になって出てくるまで。登場人物は4人（＋お客さん）です。 お客さん カウンター レシピ帳係 ベテラン店員 料理 「質問」をする 注文を受ける ＝ API 資料を調べる ＝ RAG／ベクトル 言葉で答える ＝ LLM 「回答」が出る つまり この4つの役割が連携して、1つの「質問→回答」ができています。 参考：OpenAI / Anthropic 公式ドキュメント（仕組みの全体像） ［公式］

① ベクトル ＝「意味の地図」 むずかしく言うと「ベクトル／埋め込み」。言葉を“地図上の点”にすること 意味が近い言葉どうしは、近くに置かれる 近い＝にた意味 動物のなかま 犬 うさぎ 「犬」と「猫」は近い。「電車」は遠い。 猫 数字で位置を表す ペット 点の場所を数百個の数字で記録します。 バス 電車 駅 乗りもののなかま だから“検索”できる 似た言葉・似た文章を探すのが得意に。 つまり ベクトルは、言葉の意味を“地図上の位置”に変える技術。検索の土台です。 参考：Mikolov 2013（Word2Vec, arXiv:1301.3781）／OpenAI Embeddings 公式 ［プレプリント／公式］

② LLM ＝「次の言葉を当てる達人」 むずかしく言うと「大規模言語モデル」。続きの言葉を予想して文章を作る 「いらっしゃい ___ 」 の続きは？ ← AIは“次に来そうな言葉”を確率で選びます 「ませ」 78% 「ますか」 12% 「ました」 6% 「そのほか」 4% つまり 「次に来そうな言葉」を超高速でくり返し選び、文章を組み立てているだけ。 参考：Vaswani 2017（Transformer, arXiv:1706.03762）／Brown 2020（GPT-3） ［査読付き(NeurIPS)］

③ RAG ＝「資料を見てから答える」 むずかしく言うと「検索拡張生成」。記憶だけでなく、調べてから答える ① お客さま 「新メニューは ありますか？」 ② 調べる レシピ帳（社内資料）を 検索して見つける ③ 答える 「はい、◯◯です」 ＋ 出典つき 資料を見るから、うれしいこと： 最新・社内のことにも答えられる 思い込み（ウソ）が減る どの資料を見たか示せる つまり RAGは“カンニングOK”の仕組み。手元の資料を見て、確かなことを答えます。 参考：Lewis 2020（RAG, arXiv:2005.11401）／LangChain・LlamaIndex 公式 ［査読付き(NeurIPS)／公式］

④ API ＝「お店の注文カウンター」 むずかしく言うと「アプリの接続口」。決まった頼み方で、誰でも使える 注文票（決まった形のお願い） サイズ：大 料理（決まった形の返事） 頼んだとおりの「ラーメン一杯」が、いつも同 じ形で出てくる。 味：しょうゆ トッピング：のり ＝ リクエスト（お願い） APIキー は“合言葉”。許可された人だけ使える。 ＝ レスポンス（返事） レート制限 は“一度に頼める数”の上限。 つまり 中身を知らなくても、決まった頼み方をすれば誰でも使える「窓口」。

4つを合体！ もう一度、流れで それぞれの“正式名”と“役割”をまとめると… 質問 API ベクトル検索 LLM 回答 お客さん 受け取る窓口 資料を探す(RAG) 言葉で答える できあがり ベクトル 言葉の意味を“地図の位置”にして、似たものを探せるようにする RAG 手元の資料を調べてから答えるので、最新・社内のことに強い LLM 次に来そうな言葉を選び、文章として答えを作る API 決まった頼み方で、誰でも安全に使える窓口

3分まとめ ＆ もっと知りたい人へ ベクトル LLM 意味を“地図の位置”にする 次の言葉を当てて文章を作る RAG API 資料を見てから答える 決まった頼み方で使える窓口 出典（正直ラベルつき） ・Vaswani 2017 “Attention Is All You Need” (arXiv:1706.03762) ［査読付き(NeurIPS)］ ・Lewis 2020 “RAG” (arXiv:2005.11401) ［査読付き(NeurIPS)］ ・Mikolov 2013 “Word2Vec” (arXiv:1301.3781) ［プレプリント］ ・OpenAI Embeddings／pgvector／LangChain ほか ［公式］ 次の一歩 気になった言葉を1つだけ、検索してみる。それで十分スタートできます。