AIエージェントの精度を担保・改善する仕組み エージェントハーネスとは

#Offers̲DeepDive Lightning Talk AIエージェントの精度を担保・改善する仕組み エージェントハーネスとは 2026/7/9 AI開発事業 ディレクター 長谷 航記 許諾なく撮影や第三者 への開示を禁止します ©MATSUO INSTITUTE, INC.

自己紹介 ディープラーニングが話題になった直後からAIの研究開発に関わってます。 松尾研究所では受託開発のデリバリー責任者として従事しています。 職歴 2015年 富士ゼロックス株式会社 入社 • 長谷 航記 ながたに こうき 機械学習の研究開発(テキスト、レコメンド) 2018年 富士フイルム株式会社 出向 • 経営企画(DX推進)、機械学習の研究開発(画像、医療、業務プロセス) 2020年 トヨタ自動車株式会社 入社 • 機械学習の研究開発(車両データ) 2021年 株式会社 Novath 共同創業 • データ分析、教材開発、コンペ設計、技術顧問 2024年 株式会社松尾研究所 入社 • AI開発事業(研究開発、プロダクト開発の受託開発) • PMを経て2025年10月よりディレクター • 生成AIの研究開発、プロダクト開発を複数業種で推進 ©MATSUO INSTITUTE, INC. 2

みなさん、 最近こんなことを思っていませんか？ ©MATSUO INSTITUTE, INC.

AI Agent周りで 新しい言葉増えすぎじゃない？ ©MATSUO INSTITUTE, INC.

ReAct CLAUDE.md Managed Agent Workflow RAG Memory Loop engineering AGENTS.md Chain-of-Thought Human-in-the-loop Orchestration Skills Harness In-context Learning Tool Calling Embedding LLMs Self-Harness Sandbox Few-shots learning/prompting Structured output Reasoning Vector Search Prompt Engineering Prompt Context Engineering Harness Engineering Context AgentOps Evals ©MATSUO INSTITUTE, INC. Guardrails MCP runtime Tool Calling

ReAct ! CLAUDE.md Managed Agent Workflow RAG Memory Loop engineering AGENTS.md Chain-of-Thought Human-in-the-loop Orchestration Skills Harness In-context Learning Tool Calling Embedding LLMs Self-Harness Sandbox Few-shots learning/prompting Structured output Reasoning Vector Search Prompt Engineering Prompt Context Engineering Harness Engineering Context AgentOps Evals ©MATSUO INSTITUTE, INC. Guardrails MCP runtime Tool Calling

ReAct CLAUDE.md Managed Agent Workflow RAG Memory Loop engineering Chain-of-Thought Harness Engineering Vector Search Prompt Engineering Harness Tool Calling Embedding Self-Harness 増えすぎたAI Agent用語を整理する土台 Prompt LLMs Human-in-the-loop Sandbox = エージェントハーネス In-context Learning Few-shots learning/prompting AGENTS.md Orchestration Structured output Context Engineering Skills Reasoning Context AgentOps Evals ©MATSUO INSTITUTE, INC. Guardrails MCP runtime Tool Calling

本日のトピック • エージェントハーネスとは • なぜエージェントハーネスが重要なのか • ハーネスエンジニアリングとは • ハーネスエンジニアリングの未来 • AIエージェント時代の人の役割 ©MATSUO INSTITUTE, INC. 11

エージェントハーネスとは？ Skills Context Tools Human-In-the-Loop Guardrails Memory MCP RAG LLMs Logs Sandbox Prompt Permissions AGENTS.md CLAUDE.md ハーネスに関係するキーワードはどれでしょう？ ©MATSUO INSTITUTE, INC. 12

エージェントハーネスとは？ Agent = Model + Harness. If you’re not the model, you’re the harness. Langchain (Viv Trivedy): The Anatomy of an Agent Harness Addy Osmani: Agent Harness Engineering ©MATSUO INSTITUTE, INC. 13

• https://www.langchain.com/blog/the-anatomy-of-an-agent-harness
• https://addyosmani.com/blog/agent-harness-engineering/

なぜエージェントハーネスが重要なのか LLMの性能進化に伴い、活用が単発の「応答」から実行環境に作用して長時間タスクを「実行」する エージェントへ拡大。AIへの入力だけではなく、モデルの外側の実行環境設計が品質担保を左右する。 ~2023 Prompt Engineering ~2025中盤 Context Engineering 2025後半~ Harness Engineering どう指示すれば、望む出力になるか 何を見せれば、正しく判断できるか 何をどう制御すれば、安定して タスクを完遂・改善できるか AIの 作用範囲 ユーザの入力 入力に加え、参照文書、ツールの取得結果( 検索結果・コード実行結果)、メモリ ファイル、ブラウザ、CLI、API、Git、業務 システムなど実行環境全体を操作・更新 タスク 単発回答、要約、分類、抽出、文章生成 社内文書QA、規程照会、履歴を踏まえた回 答、調査整理 コード修正〜テスト〜PR、予約・申請・承 認などの長期・複合的な業務遂行 設計要素 Few-shot, Chain-of-Thought, Prompt Template RAG, Reranking, Long Context, Memory, Context Compression, … ReAct / Agent Loop, Tool Calling, Hooks, Skills, Sandbox, … 指示だけでは知識不足・鮮度・状態変化に弱 い、要約、分類、生成、コード補助 見せる情報だけでは実行失敗・逸脱・長期タ スクのズレを防げない 実行は安定化できるが、成功率の上限はモデ ル能力と評価設計に依存する 限界 ©MATSUO INSTITUTE, INC. 14

改めて、エージェントハーネスとは何か モデルの外側で「何を見せ、どう動かし、どう検証し、どう状態を残すか」 を支える実行環境設計 分類 説明 対象要素 Context Injection コンテキスト注入 目的・ルール・履歴・知識・作業文脈を注入する。 prompts, memory, skills, conversation, CLAUDE.md, AGENTS.md, RAG Action 外部アクション モデルが外部世界に対して実行・検索・操作するた bash, tools, MCPs, APIs, browser, shell めの能力。結果はコンテキストに戻る。 Control 実行制御 エージェントの実行ループをどう進めるか、いつ圧 compaction, orchestration, graph 縮・分岐・継続・停止するかを制御する。 loops, planning, routing, continuation Observe & Verify 観測・検証 実行結果を観測し、期待通りかを検証する。モデル test results, logs, evaluator, lint, の自己申告ではなく、外部の観測結果を戻す。 review result Persist 永続化 作業状態・成果物・進捗・履歴を外部に保存し、後 filesystem, git, progress files, 続ステップや次回実行で再利用できるようにする。 checkpoints, state, memory store Langchain (Viv Trivedy): The Anatomy of an Agent Harness Addy Osmani: Agent Harness Engineering ©MATSUO INSTITUTE, INC. 15

• https://www.langchain.com/blog/the-anatomy-of-an-agent-harness
• https://addyosmani.com/blog/agent-harness-engineering/

ハーネスエンジニアリングとは ハーネスエンジニアリングとは、安定してタスクを実行するために望ましいAgentの振る舞いから逆算し て、モデル外部の仕組みを設計すること。 望ましいAgentの振る舞い ハーネスに追加するもの 実データを永続的に扱えるようにする Filesystem + Git コードを書き、実行できるようにする Bash + Code Execution 安全に標準的なツールを使えるようにする Sandboxed Environments + Tooling 新しい知識を記憶し参照できるようにする Memory Files + Web Search + MCPs 多様なコンテキストでも性能を維持する Compaction + Tool Offloading + Skills Langchain (Viv Trivedy): The Anatomy of an Agent Harness ©MATSUO INSTITUTE, INC. 16

• https://www.langchain.com/blog/the-anatomy-of-an-agent-harness

ハーネスエンジニアリングによるエージェントの改善設計 ハーネスエンジニアリングは実行環境を作って終わりではなく、エージェントの実行結果を観測し、失敗 要因を切り分け、再発防止策をHarnessに戻すことで、運用の中で精度と安定性を改善する。 Define エージェントの望まし い振る舞いを定義 Build 必要なハーネスを設 計、実装 Run&Observe Analyze エージェントの振る舞 いを観測、検証する タスクの失敗要因を 切り分ける Update ハーネスを追加・更 新し、改善検証する この改善ループは人手で回すこともあれば エージェントが自律的に回すように設計することもある Langchain (Viv Trivedy): The Anatomy of an Agent Harness Addy Osmani: Agent Harness Engineering Martin Fowler: Harness engineering for coding agent users ©MATSUO INSTITUTE, INC. 17

• https://www.langchain.com/blog/the-anatomy-of-an-agent-harness
• https://addyosmani.com/blog/agent-harness-engineering/
• https://martinfowler.com/articles/harness-engineering.html

松尾研究所でのハーネスエンジニアリング事例：問い合わせ監視支援 問い合わせ業務において、問い合わせの収集・分類・対応案作成・対応改善及び再実行性をHarnessとし て設計することで、運用の中で精度と安定性を担保 ハーネスに追加するもの 業務イメージ 望ましいAgentの振る舞い 実現したいこと • AI Agentで問い合わせ確認・回答作成、 日次レポート作成を行い、監視工数を削減 したい 問い合わせ内容を理解して要対応 フラグと担当すべき部門、一次回 答を作成して通知する • • • • Prompt 定期実行(cron) MCP連携(チャット) Rubric(分類基準) チャットの担当者のやり取りや実 回答を元に一次回答や要対応フラ グの精度改善をAgentが自律実行 • • • Memory MCP連携(チャット) State tracking 失敗しても二重投稿・二重登録せ ず、次回に安全に再実行できる • • • 処理済みマーカー Retry設計 (Recovery loop) Agentが考慮すべき業務制約 • 問い合わせが継続発生し、内容ごとに対応 要否・担当部門・一次回答方針が異なる • 担当者の実回答や修正判断を蓄積しない と、分類ミス・過剰対応・確認漏れが繰り 返される • 定期実行を伴うため、失敗時にも二重投 稿・二重登録せず安全に再実行する必要が ある ©MATSUO INSTITUTE, INC. 18

ハーネスエンジニアリングの先にある未来 Platform側ではモデルに近いハーネスはマネージド化され、OSS・研究側ではハーネスを含む「環境」 を定義・共有・再利用する動きが進んでいる。今後は実行・評価・学習・改善を含む環境が重要となる。 Platform側の動き：マネージドサービス化 OSS・研究側の動き：「環境」の共有化 Anthropic: Managed Agent • オーケストレーション、サンドボックス化、セッ ション状態管理、認証情報管理、永続化といった 実行時責任をプラットフォームに委譲 →Modelの進化に伴うハーネスをモデル提供者が設計 OpenEnv • HuggingFaceとMetaの共同プロジェクト • Agentが実システム・実ツールに近い環境で評価・ 学習できるよう、reset / step / action / observation のような標準インターフェースを提供 →タスクを解くために必要なハーネスを備えた環境を 整備し、その下でモデル学習を行うようになっていく npakaさん: Claude Managed Agents を試す Anthropic: Scaling Managed Agents OpenEnv ©MATSUO INSTITUTE, INC. 19

• https://note.com/npaka/n/n190b39339bf9
• https://www.anthropic.com/engineering/managed-agents
• https://github.com/huggingface/OpenEnv

人の役割は「ゲートキーパー」から「マネージャー」へ AIの出力を毎回チェックする"門番(ゲートキーパー)"を続ける限り、人が律速になり、スケールしない。 役割を、AIが迷わず働ける環境を設計する"マネージャー/環境設計者"に進化させる。 Before：作業者／ゲートキーパー After：マネージャー／環境設計者 n AIの出力を一つひとつ目視で確認 n ハーネス（4つの柱）を設計 n 規模が増えると破綻・疲弊しやすい n 人は仕組みを通じて品質を担保する n 人がボトルネックになる n AIが迷わず・安全に働ける 鍵となる転換 毎回確認 「検証ループ」が肩代わり 都度の注意 「ガードレール」が事前に防ぐ 逐一の指示 「コンテキスト」で自走させる 価値を生むのは、AIを"見張る"ことではなく、AIが働ける"環境を作る"こと。 ©MATSUO INSTITUTE, INC. 20

まとめ • エージェントハーネスとは、モデルの外側でAIエージェントを安定して働かせるための実行 環境である • Agent = Model + Harness • LLM活用は「応答」から「実行」へ広がり実環境と作用するようになったことで、 Prompt / Context だけでは品質を担保できなくなり、ハーネスが重要となってきた。 • ハーネスエンジニアリングは、望ましい振る舞いから逆算して実行環境を設計すること • 何を見せ、何を許し、どう検証し、どこに状態を残すかを設計することで、Agentの実 行を安定化させる • 人の役割は、AIを見張ることから、AIが働ける環境を作ることへ移る ©MATSUO INSTITUTE, INC. 21

©MATSUO INSTITUTE, INC.