井の中の蛙〜AIエージェントの内省〜

井の中の蛙 〜AIエージェントの内省〜

自己紹介 やぎ かえるくん のともだち かえるくん

夢は 大海に行くこと

Chapter1 内省の限界

いつも 1人で練習していた

友人と議論しても いいアイデアは出てこなかった

なぜでしょうか？

内省とは 内省（Self-Reflection）とは、 LLMが自分の出力を自分自身で、評価・修正する仕組み Madaan et.al.（2023）Self-Refine: Iterative Refinement with Self-Feedback

内省の例 ①Self-Refine 出力を自分で批判し、反復改善する手法 feedback LLM Output LLM(批判) ②LLM-as-a-Judge 別の LLM に出力を評価させる手法 feedback LLM Output LLM(評価)

の 精度は よくなるのか？ ①Self-Refine 出力を自分で批判し、反復改善する手法 feeda LLM Output LLM(批判) ②LLM-as-a-Judge 別の LLM に出力を評価させる手法 feeda LLM Output LLM(評価)

内省の限界 単体の LLM による自己内省は効かない d'Aliberti et al. (2026) によると、 "Aha! モーメント" は精度改善に寄与しない。 Huang et.al.(2024) Large Language Models Cannot Self-Correct Reasoning Yet 同じモデル同士の議論は効かない debateでは精度は上がらず、多数決の効果となる。 Wu et al. (2025)によると、議論の成功の上限は、 参加者の中で最も強いモデルによって決まる。 Choi et.al.(2025) Debate or Vote: Which Yields Better Decisions in Multi-Agent Large Language Models?

内省 内省では 内部知識を超えれない ない でな でい

Chapter2 外部情報

３匹の師匠から 学んだ

見違えるほど伸びた

なぜでしょうか？

外部情報が大事 LLMの自己修正が機能するのは、外部フィードバックがある 場合だけである。 ＜よくあるリーク例＞ LLM：答えは25です （間違っていることを知っている時だけ） 人間：間違ってます。考え直して。 実運用では正解を知らないので、再現できない。 Kamoi et.al.（2024）When Can LLMs Actually Correct Their Own Mistakes? A Critical Survey of Self-Correction of LLMs

外部情報を取り込む3つの手法 ①Self-RAG 文書検索 + 検索結果の内省的評価 Asai et.al.(2023) SELF-RAG: LEARNING TO RETRIEVE, GENERATE, AND CRITIQUE THROUGH SELF-REFLECTION ②Reflexion Tool実行 + 失敗の反省 Shinn et.al.(2023) Reflexion: Language Agents with Verbal Reinforcement Learning ③Human-in-the-Loop 人間入力 + 自己修正 よくある実装パターン（厳密に論文があるわけではない）

内省 外部情報 内省は 省 外部情報で向上する るるで

Chapter3 暗黙のFB

フクロウから学ぶのが 一番伸びた

フクロウは全然来ない。 1人で練習するしかなかった。

どうしたらいい？

暗黙のFB 精度向上には人間FBが不可欠 だが、収集にコストがかかる。 明示的FB 暗黙的FB ユーザーに評価を求める 高品質・少量 評価の意識なく自然発生 ノイジー・大量

RAG vs Google 検索手法 Embedding PageRank 学習データ 事前データ ユーザーの行動 （クリック率など） 改善サイクル 手動 自動 精度差 ＝ ユーザー行動からの学習

推薦システム → LLM クリック 滞在時間 スキップ 再検索 離脱 Accept 会話継続 再生成 再質問 会話終了

事例 ユーザーの accept/reject をリアルタイムで学習した オンライン強化学習 accept → +0.75 reject → -0.25 silent → 0 https://cursor.com/blog/tab-rl 結果：Accept率 +28%

• https://cursor.com/blog/tab-rl

の 事 暗黙のFBが大事

エピローグ

あらゆるところに 学びの種があると気づいた

夢に近づいた

井の中の蛙 大海を知らず

されど空の青さを知る