AIエージェントを育てる改善ループ - 「エージェントが対応し、人間が評価する」を回すために作ったもの

エージェントを 育てる改善ループ AI 「エージェントが対応し、人間が評価する」を回すために作ったもの SmartHR / CRE Subaru Arikawa Fukuoka CRE Lounge © SmartHR, Inc.

About 自己紹介 （SmartHR CRE） 社内の技術問い合わせ窓口「DESK」を担当 DESK AI エージェントと周辺ツールを開発 趣味：ゲーム、漫画、ネット麻雀 福岡の自宅からフルリモートで勤務 Subaru Arikawa 2

今日の話 エージェント 2. 改善ループの全体像 3. 自動で回るループ 4. 人が回すループ 5. これからやりたいこと 1. DESK AI 3

Chapter 1 DESK AI エージェント 何をしていて、何を目指しているか 4

DESK AI エージェント DESK の問い合わせに、まず AI が答える ：CS や営業から来るプロダクトの技術的な問い合わせを、CRE が受ける社内の窓口 DESK 人 質問する や営業が Slack の DESK チャンネルで質問 CS AI まず AI が答える エージェントが スレッドで回答する DESK AI 人 CRE が引き継ぐ で足りなければ CRE が対応する AI 5

目指していること エージェントが対応し、 人間が評価する 指標は「人間が介在せずに解決した割合」 50% 年下期の目標 2026 詳しくはブログで tech.smarthr.jp/entry/2026/08/21/155452 6

改善ループの全体像 Chapter 2 ループと、それを回す 3 つの道具 7

今日の話 50% に近づけるための改善ループ 1 対応する AI エージェントが Slack で回答 2 測る AI 自律で閉じたかを 会話から判定 分類する 3 AI 人 人が介入したケー スの失敗カテゴリ 分析する 作る 4 人 5 人 AI 足りなかったもの を特定 AI ・ツールを足 Skill す 次のメッセージから反映 本命は 3 → 4 → 5：失敗を分類して、足りないものを作る AI 主体 AI サポート 8

登場する道具 ループを3つのリポジトリで回している DESK AI エージェント で問い合わせに 一次対応する Slack 管理ポータル 評価・失敗分析と、 Skill の公開 TypeScript / Google ADK Rails 8 / Hotwire Gemini (Vertex AI) Azure OpenAI Cloud Functions Cloud Run 1 対応する 2 測る 3 分類 4 分析 5 作る CRE 調査ツールキット が答えられない問い合わせを 人が Claude Code で深掘り AI スキル サブエージェント / CLI Claude Code 1 対応する（人） 4 分析 5 作る 9

のシステム構成 つのリポジトリと、そのあいだをつなぐデータ DESK AI 3 Slack DESK AI エージェント エージェント 問い合わせスレッド 受付・振り分け → 問い合わせ ← 回答・👍 👎 Cloud Functions エージェント本体 ツール チャンネルで プロダクトを判定 ポータルで 評価し、Skill を書く が答えられない 問い合わせを調べる AI Skill を公開 検索 調査ツールキット 記録 Vertex AI Search BigQuery 過去の問い合わせ要約 トレース 👍 👎 フィードバック 毎朝 取り込み ヘルプページ 要約 Rails 管理 調べる を毎回読む 要約 Markdown 公開 Skill 過去の問い合わせの要約 下書き → β → 公開 版の差分・ロールバック CRE ・テナントデータを調べる（β） ・Skill を読み込む Cloud Storage データの受け渡し 管理ポータル 人が移す Gemini ・過去の問い合わせを検索 ・ヘルプページを検索 Skill CRE 人・ツールキット GCP / TypeScript / Google ADK + Pub/Sub Skill 管理ポータル ・Slack を取り込み Azure OpenAI で要約 Jira 直接クエリ 自律クローズ判定 評価・分析 完了チケットの会話を 毎時判定・失敗を分類 トレース・指標・失敗分析 分析 API（手元の Claude） 調査手順を Skill に CRE の手元 / Claude Code のスキルとサブエージェント ログ・本番データ（読み取りのみ）・コード 回答・起票する 回答の下書き・不具合チケットの起票 運用する 対応の優先度の整理・指標の集計

自動で回るループ Chapter 3 答えた問い合わせが、ナレッジになる 11

自動で回るループ ── 知識 答えた問い合わせが、そのままナレッジになる 対応する エージェントや CRE が Slack のスレッドで答える 要約する スレッドを取り込んで Azure OpenAI で要約 人の手を入れずに回る 検索できる 書き出す Vertex AI Search Markdown に 平日の朝に取り込む 人が答えた問い合わせも、 次からはエージェントが答えられる 問い合わせが増えるほど、答えられることが増える にして 毎日 Cloud Storage へ 12

自動で回るループ ── 手入れ 古くなった情報は、人が手入れする 管理ポータルの RAG ドキュメント管理（画面はデモデータ） 利用しない 検索の対象から外す。外した理由も残す 編集する 要約を直す。自動の再生成でも上書きしない 13

人が回すループ Chapter 4 人が介在したケースから、足りないものを作る 14

人が回すループ ── 測る・分類する 人が介在したケースを、多いカテゴリから直す 完了したチケットの会話を AI が読み、 判定の理由と失敗カテゴリを付ける 件数の多いカテゴリから、何を作れば減るかを考える 管理ポータルの失敗パターン分布（画面はデモデータ） 15

人が回すループ ── 作る（ツール） 最多のカテゴリに、データ検索ツールを作った データ検索ツール（β） いままで CRE ↓ いま がデータを調べて答えていた エージェントが自分で SQL を書いて調べる データの読み方の Skill テーブルの意味は、Skill で渡す テーブルの関係と履歴の持ち方 値の意味（申請の状態など） SQL を書く前に読ませる 16

人が回すループ ── 作る（Skill） カテゴリごとに、Skill で手当てする 失敗カテゴリ 公開されていない仕様の詳細 undocumented_spec_detail 社内の非公開情報が必要 internal_nonpublic_information 手順書などの成果物が必要 deliverable_creation 誤った回答をした hallucination Skill に書くこと → 機能ごとの仕様 例：評価の集計対象 社内の判断基準 → 例：データ修正を受けるとき → 成果物の作り方 例： 項目の対応表 CSV → 間違えやすい点 例：給与明細の公開日 判定の理由を読んで、何を書けば減るかを決める 17

人が回すループ ── 作る（Skill） Skill はポータルで書いて、すぐ効く 管理ポータルの Skill 管理（画面はデモデータ） ポータルで書く Markdown で書いて公開 デプロイ不要 次のメッセージから反映 β で先に試す テスト用チャンネルだけ 戻せる 版の差分とロールバック 18

これからやりたいこと Chapter 5 分析から作るまでを、AI に任せていく 19

これからやりたいこと 分析から作るまでを、AI が自動で進める 分析する 作る 公開する いま の分類根拠を人が読む 人 人が Skill・ツールを作る 人 β で試して公開する 人 AI AI AI 部品はそろいつつある 分析 API 失敗の集計を手元の Claude で読む スキル管理 API これから 失敗分析を自動で確認し、傾向を見つける Skill を提案し、ツールを実装する 人 提案を確かめて、公開・マージする AI AI 下書きまで。公開は人が Web で 開発のスキル から PR・AI レビュー対応まで Claude Code で回す Issue 20

まとめ AI エージェントを育てるには 成功と失敗を 分類 して → 分類したケースごとに 分析 して → やツールを 作る Skill このループを早く回せる仕組みを 作っていくことが大事 ありがとうございました 21