---
title: AIエージェントを育てる改善ループ - 「エージェントが対応し、人間が評価する」を回すために作ったもの
tags: 
author: [s-arikawa](https://docswell.com/user/s-arikawa)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/DEY46R54JM.jpg?width=480
description: Fukuoka CRE Lounge 2nd 〜先駆者に聞く！CREのはじめかた・育てかた〜 - connpass https://moneyforward.connpass.com/event/402860/  このイベントがLTした資料です。
published: October 20, 26
canonical: https://docswell.com/s/s-arikawa/Z8NEQE-2026-10-20-152750
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/DEY46R54JM.jpg)

エージェントを
育てる改善ループ
AI
「エージェントが対応し、人間が評価する」を回すために作ったもの
SmartHR / CRE
Subaru Arikawa
Fukuoka CRE Lounge
© SmartHR, Inc.


# Page. 2

![Page Image](https://bcdn.docswell.com/page/VJNYZDN678.jpg)

About
自己紹介
（SmartHR CRE）
社内の技術問い合わせ窓口「DESK」を担当
DESK AI エージェントと周辺ツールを開発
趣味：ゲーム、漫画、ネット麻雀
福岡の自宅からフルリモートで勤務
Subaru Arikawa
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/YE9PZGRRJ3.jpg)

今日の話
エージェント
2. 改善ループの全体像
3. 自動で回るループ
4. 人が回すループ
5. これからやりたいこと
1. DESK AI
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/GE8D1VWGED.jpg)

Chapter 1
DESK AI
エージェント
何をしていて、何を目指しているか
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/LELMQ5NX7R.jpg)

DESK AI
エージェント
DESK
の問い合わせに、まず AI が答える
：CS や営業から来るプロダクトの技術的な問い合わせを、CRE が受ける社内の窓口
DESK
人
質問する
や営業が
Slack の DESK チャンネルで質問
CS
AI
まず AI が答える
エージェントが
スレッドで回答する
DESK AI
人
CRE
が引き継ぐ
で足りなければ
CRE が対応する
AI
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/4JMY13X3JW.jpg)

目指していること
エージェントが対応し、
人間が評価する
指標は「人間が介在せずに解決した割合」
50% 年下期の目標
2026
詳しくはブログで
tech.smarthr.jp/entry/2026/08/21/155452
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/PJR9LQNR79.jpg)

改善ループの全体像
Chapter 2
ループと、それを回す 3 つの道具
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/PEXQW5NYJX.jpg)

今日の話
50%
に近づけるための改善ループ
1
対応する
AI
エージェントが
Slack で回答
2
測る
AI
自律で閉じたかを
会話から判定
分類する
3
AI
人
人が介入したケー
スの失敗カテゴリ
分析する
作る
4
人
5
人
AI
足りなかったもの
を特定
AI
・ツールを足
Skill
す
次のメッセージから反映
本命は 3 → 4 → 5：失敗を分類して、足りないものを作る
AI
主体
AI
サポート
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/3EK9V6N4ED.jpg)

登場する道具
ループを3つのリポジトリで回している
DESK AI
エージェント
で問い合わせに
一次対応する
Slack
管理ポータル
評価・失敗分析と、
Skill の公開
TypeScript / Google ADK
Rails 8 / Hotwire
Gemini (Vertex AI)
Azure OpenAI
Cloud Functions
Cloud Run
1
対応する
2
測る 3 分類 4 分析 5 作る
CRE
調査ツールキット
が答えられない問い合わせを
人が Claude Code で深掘り
AI
スキル
サブエージェント / CLI
Claude Code
1
対応する（人）
4
分析 5 作る
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/L73WM6VD75.jpg)

のシステム構成
つのリポジトリと、そのあいだをつなぐデータ
DESK AI
3
Slack
DESK AI
エージェント
エージェント
問い合わせスレッド
受付・振り分け
→ 問い合わせ
← 回答・👍 👎
Cloud Functions
エージェント本体
ツール
チャンネルで
プロダクトを判定
ポータルで
評価し、Skill を書く
が答えられない
問い合わせを調べる
AI
Skill
を公開
検索
調査ツールキット
記録
Vertex AI Search
BigQuery
過去の問い合わせ要約
トレース
👍 👎 フィードバック
毎朝
取り込み ヘルプページ
要約
Rails
管理
調べる
を毎回読む
要約 Markdown
公開 Skill
過去の問い合わせの要約
下書き → β → 公開
版の差分・ロールバック
CRE
・テナントデータを調べる（β）
・Skill を読み込む
Cloud Storage
データの受け渡し
管理ポータル
人が移す
Gemini
・過去の問い合わせを検索
・ヘルプページを検索
Skill
CRE
人・ツールキット
GCP / TypeScript / Google ADK
+ Pub/Sub
Skill
管理ポータル
・Slack を取り込み
Azure OpenAI で要約
Jira
直接クエリ
自律クローズ判定
評価・分析
完了チケットの会話を
毎時判定・失敗を分類
トレース・指標・失敗分析
分析 API（手元の Claude）
調査手順を Skill に
CRE
の手元 / Claude Code のスキルとサブエージェント
ログ・本番データ（読み取りのみ）・コード
回答・起票する
回答の下書き・不具合チケットの起票
運用する
対応の優先度の整理・指標の集計


# Page. 11

![Page Image](https://bcdn.docswell.com/page/87DK6V82JG.jpg)

自動で回るループ
Chapter 3
答えた問い合わせが、ナレッジになる
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/VJPKYV8LE8.jpg)

自動で回るループ ── 知識
答えた問い合わせが、そのままナレッジになる
対応する
エージェントや CRE が
Slack のスレッドで答える
要約する
スレッドを取り込んで
Azure OpenAI で要約
人の手を入れずに回る
検索できる
書き出す
Vertex AI Search
Markdown
に
平日の朝に取り込む
人が答えた問い合わせも、
次からはエージェントが答えられる
問い合わせが増えるほど、答えられることが増える
にして
毎日 Cloud Storage へ
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/2EVVGZN6EQ.jpg)

自動で回るループ ── 手入れ
古くなった情報は、人が手入れする
管理ポータルの RAG ドキュメント管理（画面はデモデータ）
利用しない
検索の対象から外す。外した理由も残す
編集する
要約を直す。自動の再生成でも上書きしない
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/57GL84K2EL.jpg)

人が回すループ
Chapter 4
人が介在したケースから、足りないものを作る
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/4EQY9GN9JP.jpg)

人が回すループ ── 測る・分類する
人が介在したケースを、多いカテゴリから直す
完了したチケットの会話を AI が読み、
判定の理由と失敗カテゴリを付ける
件数の多いカテゴリから、何を作れば減るかを考える
管理ポータルの失敗パターン分布（画面はデモデータ）
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/KJ4WX53R71.jpg)

人が回すループ ── 作る（ツール）
最多のカテゴリに、データ検索ツールを作った
データ検索ツール（β）
いままで
CRE
↓
いま
がデータを調べて答えていた
エージェントが自分で SQL を書いて調べる
データの読み方の Skill
テーブルの意味は、Skill で渡す
テーブルの関係と履歴の持ち方
値の意味（申請の状態など）
SQL を書く前に読ませる
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/LE1YNW1V7G.jpg)

人が回すループ ── 作る（Skill）
カテゴリごとに、Skill で手当てする
失敗カテゴリ
公開されていない仕様の詳細
undocumented_spec_detail
社内の非公開情報が必要
internal_nonpublic_information
手順書などの成果物が必要
deliverable_creation
誤った回答をした
hallucination
Skill
に書くこと
→ 機能ごとの仕様
例：評価の集計対象
社内の判断基準
→
例：データ修正を受けるとき
→ 成果物の作り方
例： 項目の対応表
CSV
→ 間違えやすい点
例：給与明細の公開日
判定の理由を読んで、何を書けば減るかを決める
17


# Page. 18

![Page Image](https://bcdn.docswell.com/page/GEWG4683J2.jpg)

人が回すループ ── 作る（Skill）
Skill
はポータルで書いて、すぐ効く
管理ポータルの Skill 管理（画面はデモデータ）
ポータルで書く
Markdown
で書いて公開
デプロイ不要
次のメッセージから反映
β
で先に試す
テスト用チャンネルだけ
戻せる
版の差分とロールバック
18


# Page. 19

![Page Image](https://bcdn.docswell.com/page/47ZL2Y8GJ3.jpg)

これからやりたいこと
Chapter 5
分析から作るまでを、AI に任せていく
19


# Page. 20

![Page Image](https://bcdn.docswell.com/page/YJ6WVDPQJV.jpg)

これからやりたいこと
分析から作るまでを、AI が自動で進める
分析する
作る
公開する
いま
の分類根拠を人が読む
人
人が Skill・ツールを作る
人 β で試して公開する
人
AI
AI
AI
部品はそろいつつある
分析 API
失敗の集計を手元の Claude で読む
スキル管理 API
これから
失敗分析を自動で確認し、傾向を見つける
Skill を提案し、ツールを実装する
人 提案を確かめて、公開・マージする
AI
AI
下書きまで。公開は人が Web で
開発のスキル
から PR・AI レビュー対応まで
Claude Code で回す
Issue
20


# Page. 21

![Page Image](https://bcdn.docswell.com/page/GJ5MD3K2J4.jpg)

まとめ
AI
エージェントを育てるには
成功と失敗を
分類
して
→
分類したケースごとに
分析
して
→
やツールを
作る
Skill
このループを早く回せる仕組みを
作っていくことが大事
ありがとうございました
21