--- title: 第195回 雲勉 AIの回答、誰がチェックするのか– Google Cloud で「AIの採点係」を作ってみた tags: #gemini #生成 #生成ai #genai #llm #ai評価 author: [雲勉.iret](https://docswell.com/user/kumoben_iret) site: [Docswell](https://www.docswell.com/) thumbnail: https://bcdn.docswell.com/page/GJ5MV5P8J4.jpg?width=480 description: 【概要】 AI の回答に紛れ込む「もっともらしい誤り」を人手をかけずに見つけるため、Google Cloud の Gen AI Evaluation Service を使って、AI の回答を別の AI が採点する仕組みと、コンソールだけで試せる使い方を解説します。 ※今回ご紹介した内容は、2026年8月時点での情報です。 本勉強会の動画は下記からご視聴いただけます！ https://youtu.be/6r_rzgI3DY0 published: August 20, 26 canonical: https://docswell.com/s/kumoben_iret/ZJWNPG-2026-08-20-182523 --- # Page. 1 ![Page Image](https://bcdn.docswell.com/page/GJ5MV5P8J4.jpg) 第 195 回 雲勉 AIの回答、誰がチェックするのか – Google Cloud で「AIの採点係」を作ってみた 中里見 裕作 KDDIアイレット株式会社 # Page. 2 ![Page Image](https://bcdn.docswell.com/page/LE3WDN3GE5.jpg) Profile なかさとみ ゆうさく 中里見 裕作 ★ご質問は YouTubeのコメント欄で 受け付けております。後日回答させていただきます！ ★チャンネル登録よろしくお願いします！ KDDIアイレット株式会社 サービスプラットフォーム事業部 ● アドバンストオペレーションセクション ● アイレット入社歴：3年 ● チーム内での生成AIの開発・業務改善に従事 # Page. 3 ![Page Image](https://bcdn.docswell.com/page/8EDKPW4N7G.jpg) アジェンダ 01 AIの回答は本当に正しいのか 02 AIの回答を別の AIに採点させる 03 Gen AI Evaluation Serviceの概要と仕組み 04 コンソールで評価させてみた 05 使って分かった注意点とコツ # Page. 4 ![Page Image](https://bcdn.docswell.com/page/V7PKN9MNJ8.jpg) AIの回答は本当に正しいのか # Page. 5 ![Page Image](https://bcdn.docswell.com/page/2JVVKM9YJQ.jpg) AIの回答、本当に正しいのか？ • AIは“もっともらしい誤り ”を自信たっぷりに返す（ハル シネーション） • 一見すると自然な日本語でパッと見では気づけない • 利用が広がるほど、全件人手チェックは非現実的 • 「品質を、人手をかけずにどう担保するか」が出発点 5 # Page. 6 ![Page Image](https://bcdn.docswell.com/page/5EGLQGZWJL.jpg) “品質を測る ”ことの難しさ ①正解が一つに定まらない 答えが何通りもある “作文の採点 ” ②とにかく量が多い 一件ずつ精査していては 追いつかない ③“もっともらしい誤り ” 九割正しく一割誤る回答が 一番危険 必要なのは、単純な正誤判定ではなく 「根拠に基づくか」を見抜く仕組み 6 # Page. 7 ![Page Image](https://bcdn.docswell.com/page/4JQYKXLQ7P.jpg) AIの回答を別の AIに採点させる # Page. 8 ![Page Image](https://bcdn.docswell.com/page/K74WP6DYE1.jpg) AIにAIを採点させる（ LLM-as-a-judge） • 「根拠資料」と「回答」を組にして judge model（審査員役の AI）に渡す • 「資料に書いてあることに基づくか？」を判定 → 外れたら疑いあり • 図は「根拠との整合（グラウンディング）」を採点する例 - 物差しの一つ 8 # Page. 9 ![Page Image](https://bcdn.docswell.com/page/LJ1Y9VZNEG.jpg) Gen AI Evaluation Service の概要と仕組み # Page. 10 ![Page Image](https://bcdn.docswell.com/page/GJWGQL6M72.jpg) Gen AI Evaluation Service とは • Google Cloud のAIの回答（ LLM出力）を採点 するマネージド評価サービス • 採点役や仕組みを自前で作らず、標準の物差し を呼ぶだけで評価できる • モデル移行の品質比較・プロンプト改善・エー ジェント評価などに使える ※ 公式対照表では「Gemini Enterprise Agent Platform Evals」へ改称。 コンソールでの評価と adaptive rubrics は Preview（Pre-GA）状態 参考ドキュメント： コンソールを使用して評価を行う、Gemini Enterprise Agent Platform の名称変更 10 # Page. 11 ![Page Image](https://bcdn.docswell.com/page/4EZLWMYM73.jpg) 評価の仕組み :メトリクスの種類 Adaptive rubrics（推奨） プロンプトごとに合否テストを自動生成 例: GENERAL_QUALITY Static rubrics 全データに同じ基準を適用 例: グラウンディング（根拠との整合） 計算ベース 正解データと機械的に照合 例: ROUGE / BLEU カスタム関数 Pythonで独自の評価処理を実装 SDKから利用 まず標準で試し、必要な観点を足す 11 # Page. 12 ![Page Image](https://bcdn.docswell.com/page/Y76WGND57V.jpg) コンソールで評価させてみた # Page. 13 ![Page Image](https://bcdn.docswell.com/page/G75MV53G74.jpg) コンソールで評価する（ノーコード） • New evaluationから開始 • CSV/JSONL を読み込む ※最大200行 • 評価候補とメトリクスを選ぶ • 保存先を指定し、 Evaluateを実行 評価の構成画面（公開用サンプル） 13 # Page. 14 ![Page Image](https://bcdn.docswell.com/page/9J293NZDER.jpg) カスタム指示：採点観点を画面から追加 • 採点観点を日本語で入力 • 観点を織り込んだ合否テストを自動生成 （Adaptive rubrics） • 生成されたテストは人が確認・編集できる 「生成のガイダンス」に採点観点を入力 14 # Page. 15 ![Page Image](https://bcdn.docswell.com/page/DEY41PRMJM.jpg) 評価結果を読む 全般的な品質 Pass率：86% 一方で グラウンディング （根拠との整合） Score：0 自然に読めても根拠が無い ＝ “もっともらしい誤り ” スコアと採点理由を確認し、 誤答を含む評価結果の例 最終判断は人が行う 15 # Page. 16 ![Page Image](https://bcdn.docswell.com/page/VJNY25D378.jpg) 使って分かった注意点とコツ # Page. 17 ![Page Image](https://bcdn.docswell.com/page/YE9P1YGPJ3.jpg) 単発のスコアではなく傾向で判断する 1回の評価を「正解」にしない • 同じ回答でも、採点スコアは揺れる ○ 採点するのも AI だから • 重要な比較を、単発の結果だけで決めない • 同じ条件で複数回確認し、傾向と判定理由ま で見る 17 # Page. 18 ![Page Image](https://bcdn.docswell.com/page/GE8D46VXED.jpg) 見逃しを減らす「安全側フィルタ」として使う 何を危険とみなすかは現場ごとに違う • 標準に加え、現場の観点をカスタムで足せる • 完璧な正誤判定でなく “安全側フィルタ ”として 使う • 誤答が外に出る用途では、見逃しのコストが大 きくなりやすい 18 # Page. 19 ![Page Image](https://bcdn.docswell.com/page/LELM695N7R.jpg) まとめ 1 AIの品質は、 AIで測れる 完璧な計測ではないが仕組みは作れる。 標準のメトリクスなら、コンソール画面から数クリックで試せる。 2 評価の観点は自分で足せる 何を危険と見做すかは現場ごとに違う。 カスタム指示で採点の観点を画面から追加ができる。 3 完璧を目指さず、安全側に使う 完璧な正誤判定を期待せず見逃しを減らす「安全側のフィルタ」 として使う。 最終判断は人間に残す。 AIに答えを任せるならその答えを “採点する ”仕組みも、セットで育てる。 19 # Page. 20 ![Page Image](https://bcdn.docswell.com/page/4JMY5Z3QJW.jpg) ご清聴ありがとうございました