LLMマルチエージェントが導く生成AI時代の未来への扉

19.2K Views

March 30, 24

#生成AI #LLM #AIエージェント #LLMマルチエージェント #アバナード

スライド概要

第4回 Generative AI 勉強会関西 in Microsoft 登壇資料

アバナード株式会社 Technology Leadership 菅原允様

Generative AI 勉強会関西ブランチ事務局

@gai-sm-kansai

スライド一覧

関西地方を中心にGenerative AIに興味を持つ方々が集まり、技術・ビジネス・研究などレベルの高い話も良いですが、「やってみたよ」「たのしかったよ」などの柔らかい感じの内容を主に扱いたいと考えており、情報交換や学びを共有するユーザーグループです。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 2.96MB)

関連スライド

Azure OpenAI を使って Mermaid を使った Azure 構成図を作り隊

Generative AI 勉強会関西ブランチ事務局 3.2K

今がチャンス！生成AIで市場価値を爆上げしよう！！

Generative AI 勉強会関西ブランチ事務局 1.1K

学振特別研究員になるために～2025年度申請版

学振 dc1 dc2 jsps pd

大上雅史 475.1K

研究に使える便利なフリーソフト ImageJ

imagej 放射線技師

片山豊 323.1K

大規模言語モデルに追加学習で専門知識を教える試み (2023, arXiv:2312.03360)

Kan Hatakeyama 248.7K

ウェーブレット変換の基礎と応用事例：連続ウェーブレット変換を中心に

Ryosuke Tachibana 橘亮輔 199K

各ページのテキスト

My Profile 菅原允（まろ） Makoto Sugawara アバナード株式会社 Technical Leadership キャリアフランスとワインをこよなく愛するエンジニアリングマネジャー＆アプリケーションアーキテクト。現在、生成AI領域のテクノロジーリーダーシップとして、複数のAI案件をサポート中。専門領域 • • • • • AIソリューション全般アプリケーションアーキテクチャ策定モバイルアプリ/フロントエンド開発ユーザー体験（UX）実装 Agile/DevOps コーチング https://techplay.jp/event/826710 趣味 • • • • フランス（語学も文化も）ワイン（ボルドー＆ローヌ派）旅行（最近は国内も）猫と戯れる ©2024 Avanade Inc. All Rights Reserved. https://japan.zdnet.com/extra/avanade _202402/35214938/ 2

アバナードのご紹介アバナードは、アクセンチュアとマイクロソフトによって戦略的に設立された、グローバルのソリューション知見＋マイクロソフトテクノロジーを中心とする技術力を強みとする企業です。両社の強みを兼ね備えた企業として、お客様のゴールを最大限に実現する戦略とテクノロジーをお届けします。アバナードが持つ人材、専門性 60,000名多様性に富み、様々なスキルを持つプロフェッショナルな従業員（女性比率は33%） Azure OpenAI Service リファレンスアーキテクチャ賛同パートナー ©2024 Avanade Inc. All Rights Reserved. 60,000+ 21,000件超どのパートナーよりも多いマイクロソフト認定資格数のプロジェクトを 5,000社以上と 15ケ所 92拠点クラウド、Dynamics、 CRM、デジタルマーケティングなどに関する中核研究拠点の数 26ヶ国に92拠点 5

アバナードの主な生成AIソリューションおよび支援内容アバナードは、Microsoft技術を中心とした生成AIに関するすべての領域で、お客様をご支援いたします！コンサルティング Azure OpenAI ソリューションデータプラットフォーム業務生産性改善マネージドサービス AI 戦略・ロードマップ策定支援 Enterprise Chat 構築・導入支援 Vector DB構築 Copilot for M365 コンサルティング BPOサポートルール・ガバナンス・ガイドライン策定支援 Avanade Insight Discovery データデカップリング GitHub Copilot コンサルティング AI/LLM Ops AI CoE 立ち上げ支援企業固有の Copilot/Plugin Microsoft Fabric 導入・検討支援ガバナンストレーニング業種別ユースケース検討・導入支援アーキテクチャ策定支援セキュリティ AIインパクト評価フレームワーク生成AIトレーニング AIテクニカルコンサルティングプロンプト・チューニングファインチューニング AOAI x Sentinel 統合 AIコントロールフレームワーク生成AIワークショップ Copilot for Security コンサルティングモダナイゼーション業種別 AIビジネスコンサルティング PowerPlatform ソリューション Teams x PVA によるChatbot構築 Avanade AMT ©2024 Avanade Inc. All Rights Reserved. 6

https://www.gartner.co.jp/ja/newsroom/press-releases/pr-20231012

ここ最近の主なAI技術トレンドの推移（個人的な意見です） ChatGPTの登場以降、日々、新しいAI技術が発表されており、ややカオスな状況となっています。ChatGPTのブームも一旦は収束し、次のステージ（CopilotやAIエージェント）に向けた動きが進みつつあります。 ▼イマココ ML時代 DL&RL時代 ChatBot Machine Learning ChatGPT時代 Copilot ChatGPT Cognitive Services Deep Learning/Transfer Learning ファインチューニング AIエージェント時代 AGI時代 AI（自律）エージェント AGI SLM/エッジLLM LLM（GPT、Gemini、Llama etc.） LLMマルチエージェントプロンプトエンジニアリング Grounding/RAG/CRAG MRKL ReACT LLMCompiler Function Calling Assistants API マルチモーダル Bot Framework GPTs 自動運転 AIシミュレーション ©2024 Avanade Inc. All Rights Reserved. 9

10.

https://www.ai-gakkai.or.jp/pdf/aimap/AIMap_JP_20230510.pdf

11.

ChatGPTの限界 ChatGPTをはじめとする生成AIは非常に便利です。しかし、それを使いこなすために、プロンプトエンジニアリングをはじめとする新しいAI リテラシーが求められ、私たちの障壁（私たちがツールを使いこなす必要があるのは変わらない状況）となっています。 • ChatGPTは指示待ち型 • チャットベースで手軽であるものの、こちらから何らかの指示（プロンプト）を与える必要があり、能動的に動いてくれない • プロンプトエンジニアリングを学ぶ負荷が高い • 回答精度を向上させるために、RAG実装やプロンプトエンジニアリングが必要 • だが、複雑なニーズを実現しようとすると、より複雑なプロンプトを入力しないといけない • 基本的に過去は振り返らない • プロンプトの組み方によっては、振り返りを反映した回答は出せるものの、難易度が高い • まだまだ空気を読めない • 某猫型ロボットのような友達になるのは、まだまだ先。 ©2024 Avanade Inc. All Rights Reserved. 11

12.

LLMベースのAIエージェント（LLMエージェント）とは？ ChatGPTの限界を超えるために、次のパラダイムシフトとして注目されているのがLLMエージェント（AIエージェント）です。 LLMエージェントは、人間が何らかのゴールを与えると、そのゴールを達成するために必要なタスクやプロセスを考え、様々なツールやサービスを駆使しながら、必要なアクションを自律的に行う仕組みです。 LLMエージェント利用イメージ LLM エージェント旅程作成カレンダー滞在期間：2024/09/4-9/18 飛行機予約航空券予約システム行き：AF xxx 便（ビジネス）帰り：AF xxx 便（ビジネス）ホテル予約宿泊予約システムレストラン予約レストラン予約システム旅費見積 Code Interpreter フランスに旅行したい宿泊先：5つ星ホテルレストラン：L’Ambroisie（2名）概算費用：xx〜xxx万円現地イベントの収集 ©2024 Avanade Inc. All Rights Reserved. 12

13.

LLMエージェントの主な構成要素 LLMエージェントにおけるLLMは、人間で言う「脳」（Brain）の役割を果たし、与えられたゴールをもとに、以下の要素を踏まえながら、必要なタスクやプロセスを考慮し、自律的にアクションします。やって欲しいこと（Goal）【ひとりごと】個人的には、観察による「認知」（状況把握）ができることと、「振り返り」を行い自ら軌道修正できるようになることがポイントだと思っています。 LLM エージェント個性（Profile）記憶（Memory）計画（Planning）ツール（Tools）実行（Action）役割短期記憶（直近の文脈判断）振り返り（Reflection） Code Interpreter データ生成（テキスト、画像、音声…）属性長期記憶（過去の教訓の蓄積）自己批判 Function Calling 情報検索性格認知思考の連鎖（CoT）外部API呼び出しタスク実行タスク分解 /サブゴール分割 … ©2024 Avanade Inc. All Rights Reserved. 13

14.

AIエージェントを実装できる主な技術このほかにもAIエージェントを実装するための様々なツール・サービスが提供されはじめています。 • Function Calling（OpenAI/Microsoft） • 呼出可能な関数を予め定義しておくと、LLMが文脈に応じ呼び出すべき関数/引数を教えてくれる仕組み • Assistants API（OpenAI/Microsoft） • 独自アプリケーション内でAIエージェントを実装するためのAPI • GPTs（OpenAI） • ノーコードでChatGPTをカスタマイズ可能 • Amazon Bedrock for Agents （AWS） • Amazon BedrockでAIエージェントを実装可能 • LangGraph（LangChain） • LLMでステートフルなマルチアクターアプリケーションを実装するためのライブラリ ©2024 Avanade Inc. All Rights Reserved. 14

15.

16.

LLMマルチエージェントとは LLMマルチエージェントは、複数のLLMエージェントが相互作用することにより、より複雑なタスクに対する回答精度の向上、シミュレーションやロールプレイングによる分析・予測、ソフトウェア開発での業務自動化など、単一LLMエージェントでは実現の難しい複雑なユースケースでの活用が見込まれている注目技術です。 LLMマルチエージェント間のリレーションシップパターン協力関係競合関係混合関係 ©2024 Avanade Inc. All Rights Reserved. 階層関係 16

17.

LLMエージェントもスケールアウトによる精度向上は可能か？ 2024年2月、中国大手IT企業のTencentが、小さなLLMエージェントを多数組み合わせ、LLMマルチエージェントとすることで、単一の巨大なLLMモデルよりも、より精度の高い回答を導き出す可能性があるという論文を発表しました。ポイント • LLMエージェントでも、クラウド同様、スケールアウトでパフォーマンスを向上させるという考え方は有効である。（スケールするLLMエージェントが増えると、逆に精度が悪化するのではという懸念もあります） • 今後、ローカル環境やエッジ環境での利用を見据え、様々なSLM（Small Language Model）ベースのAIエージェントの登場が想定される。これらのSLM をスケールアウトさせ、低電力や低コストを意識した仕組みも普及していくと思われる。 • SLMの例 • Microsoft Phi-2 • Mistral • Google Gemma More Agents Is All You Need https://arxiv.org/abs/2402.05120 ©2024 Avanade Inc. All Rights Reserved. 17

https://arxiv.org/abs/2402.05120

18.

事例① Generative Agents による集団行動シミュレーションこの検証では、様々なペルソナを持った25人のLLMエージェントを仮想的な街に住まわせたらどうなるか、それぞれのLLMエージェントの視点で集団行動をシミュレートしています。結果としては、LLMエージェント同士が創発的に協働し合い、それぞれのLLMエージェントごとに新しいストーリーを展開できることが示されました。ポイント • 住民（LLMエージェント）は、他の住民との関わり方によって、毎回異なる言動をとることができる（毎回、決まり文句を言われないので変化を楽しめる） • それぞれの住民が、新しい記憶（Memory）を獲得し、過去の経験（Reflection）を踏まえた振る舞いを行う過程をトレースできる • 住民のペルソナやバックグラウンドの初期設定に応じ、どんな住民とどんなタイミングで関わらせるかによって、その後の人間関係をシミュレートできる（心や感情をどう捉えるかという問題は残るが） Generative Agents: Interactive Simulacra of Human Behavior https://arxiv.org/abs/2304.03442 https://github.com/joonspk-research/generative_agents ©2024 Avanade Inc. All Rights Reserved. 18

19.

事例② Chat Dev によるソフトウェア開発 ChatDevという仮想のソフトウェア開発会社において、CEO、CTO、CPO、プログラマー、テスター、デザイナーなど、様々なロールを持つ LLMエージェントでチームを構成し、LLMエージェントチームで、ソフトウェアを自動的に開発させてしまおうという試みです。ポイント • チャットチェーンという仕組みで開発フェーズをサブタスクに分割し、サブタスクの中でそれぞれの LLMエージェントが特定のロールを担って、協力して作業が行えるようになっている • 「役割の反転」が行われ、自分のロールを変え、他のエージェントとディスカッションやレビューを行うことで開発品質を高めている（テスターがバグを発見した場合、プログラマーにバグの修正を指示する指示者になりえる） • 70件のユーザー要件に対応するソフトウェア開発のプロセス全体を7分以内で完了させ、製造コストは1ドル未満だった（スケールアウトによる生産性向上を示す良い例） Communicative Agents for Software Development（ChatDev） https://arxiv.org/abs/2307.07924 https://github.com/OpenBMB/ChatDev ©2024 Avanade Inc. All Rights Reserved. 19

20.

LLMマルチエージェントを実装できる主な技術このほかにもAIエージェントを実装するための様々なツール・サービスが提供されはじめています。 • MetaGPT ※Meta（旧Facebook）とは関係ありません • ソフトウェア開発会社をシミュレートできるマルチエージェントフレームワーク • https://github.com/geekan/MetaGPT • ChatDev ※前頁参照 • 仮想のソフトウェア開発会社で、自動でソフトウェア開発を行える • https://github.com/OpenBMB/ChatDev • AutoGen（Microsoft）※次項参照 • カスタマイズ性の高いLLMマルチエージェントフレームワーク。人間の介在も可能。 • https://github.com/microsoft/autogen • LangGraph（LangChain） • LLMでステートフルなマルチファクターアプリケーションを構築するためのフレームワーク • https://python.langchain.com/docs/langgraph • CrewAI • プロセスを含めたAIエージェント間の調整が可能なLLMマルチエージェントフレームワーク • https://github.com/joaomdmoura/crewAI • AutoDev • AIドリブン開発が可能なフレームワーク。最近、論文が発表されて注目のフレームワーク ©2024 Avanade Inc. All Rights Reserved. 20

21.

22.

AutoGenとは AutoGenは、Microsoftが提供する、LLMマルチエージェントを実現するためのOSSフレームワークです。特徴 • • 複数のLLMエージェントが同時に動作可能人間の介入を最小限に抑えることが可能メリット • • • 複数のLLMエージェントの連携により、より複雑なタスクを解決できる人間の介入を最小限に抑え、高品質な結果を得られるタスクの実行に必要なAPIコールのコストを削減できる課題 • • https://microsoft.github.io/autogen/docs/Getting-Started 高性能なLLMの利用には高いコストがかかる計算リソースや処理時間の考慮が必要 ©2024 Avanade Inc. All Rights Reserved. 22

https://microsoft.github.io/autogen/docs/Getting-Started

23.

AutoGenの組み込みLLMエージェント AutoGenでは、ConversableAgentを汎用クラスとした、Built-inの派生クラス（LLMエージェント）が用意されています。独自に継承させたカスタムエージェントを実装することも可能です。 https://microsoft.github.io/autogen/docs/Use-Cases/agent_chat ©2024 Avanade Inc. All Rights Reserved. 23

https://microsoft.github.io/autogen/docs/Use-Cases/agent_chat

24.

AutoGenの主なユースケース例 GitHubには、これ以外にも多くのユースケースサンプルが順次追加されています。（https://microsoft.github.io/autogen/docs/Examples/）参照ユースケース例 • • • • • • 数学問題の解決 RAGベースの会話意思決定複数エージェントによるコーディンググループチャットチェス対局 https://microsoft.github.io/autogen/docs/Use-Cases/agent_chat ©2024 Avanade Inc. All Rights Reserved. 24

25.

https://microsoft.github.io/autogen/docs/Getting-Started

26.

27.

28.

まとめ • ChatGPTからLLMエージェントの時代へ • ChatGPTの限界を超える仕組みとして、LLMエージェントが注目されている • AIが私たちの仕事をやってくれる代わりに、私たちは何をすべきなのか、改めて考えるタイミング • LLMマルチエージェントは、単一のLLMエージェントよりも高いパフォーマンスを発揮できる • 異なる役割や性格を持った複数のLLMエージェントが協業することにより、その効果は高まる • AGIを見据え、AutoGenをはじめとするLLMエージェントフレームワークが登場している • 人と同じように、異なる考えを持った人が集まれば、新しい、面白い考えが生まれる • 手軽なフレームワークも多数登場していますので、ぜひ、試してみてください！ ©2024 Avanade Inc. All Rights Reserved. 28

29.

30.