【DL輪読会】Agent Hospital: A Simulacrum of Hospital with Evolvable Medical Agents

DEEP LEARNING JP [DL Papers] “Agent Hospital: A Simulacrum of Hospital with Evolvable Medical Agents” Shusaku SONE http://deeplearning.jp/ 1

• http://deeplearning.jp/

アジェンダ 1. 書誌情報 2. 背景 3. ⽬的 4. 提案⼿法 5. エージェントとデータ 6. 評価⽅法 7. 結果と考察 8. まとめ 9. 感想 2

１ 書誌情報 タイトル︓ Agent Hospital: A Simulacrum of Hospital with Evolvable Medical Agents 著者︓ JUNKAI LI, SIYU WANG, MENG ZHANG, WEITAO LI, YUNGHWEI LAI, XINHUI KANG, WEIZHI MA, and YANG LIU (Tsinghua University) 出版⽇: 2024年5⽉ 出版物: arXiv 選んだ理由︓ LLMを⽤いた⾃律型エージェントの医療分野での活⽤を学ぶため 3

2 背景 ⼤規模⾔語モデル（LLM）の能⼒︓LLMが様々なタスクで優れた性能を⽰していることから[1]、 医療シナリオへの応⽤可能性に注⽬が集まっている。 医療分野におけるAIの適⽤拡⼤︓AI技術が医療分野での診断⽀援や治療計画の策定に利⽤されて おり、これをさらに進化させるための研究が求められている。 トレーニングデータの制約︓医療分野で⾼品質のラベル付きデータを取得することは困難かつコス トが⾼いため、⼿動ラベリングを必要としない学習戦略の開発が必要。 医療教育と訓練の課題︓現実の臨床環境でのトレーニングはリソース集約的であり、より効果的か つ効率的なシミュレーションベースのトレーニング⼿法の開発が望まれている。 [1] Generative Agents: Interactive Simulacra of Human Behavior, 2023 4

3 ⽬的 医療プロセスの全体的なシミュレーションの実現︓病気の発症から治療、回復、フォローアップまでを 含む医療プロセスを全⾯的にシミュレートする環境を構築する。 ⾃律的な医療エージェントの開発と進化︓病院環境で患者と対話し、学習する医師エージェントと看護 師エージェントを開発し、これらのエージェントが実際の医療シナリオで進化する能⼒を向上させる。 ⼿動ラベル不要の学習⽅法の提案︓⾼品質なラベル付きデータに依存せずに医療エージェントを訓練す る新しいアプローチ、MedAgent-Zeroを開発し、これにより継続的な学習と進化を可能とする。 シミュレーションから現実への知識の転移︓シミュレーション内でエージェントが習得した知識と経験 を実世界の医療データセットに適⽤し、その有効性を検証する。 医療教育と訓練の改善︓Agent Hospitalを使⽤して、医学⽣や医療専⾨家の教育とトレーニングのため のリスクフリーでコスト効率の⾼い⽅法を提供する。 5

4 提案⼿法 シミュレートされた病院環境「Agent Hospital」の構築: ・Agent Hospitalは、医師エージェント、患者エージェント、看護師エージェントなどの⾃律エージェントを 活⽤して、病院内の全医療プロセス（トリアージ、登録、診察、検査、診断、治療計画、 回復後フォローアップ）を包括的にシミュレートする。 ・患者エージェントが病気になると病院を訪れ、医師エージェントが治療計画を提供し、回復状況を報告する。 MedAgent-Zero Method: ・MedAgent-Zeroはパラメータフリーで、⼿動ラベル付けされたデータを使⽤せずに医師エージェントを 進化させる⼿法。この⼿法は、医療記録ライブラリと経験ベースの2つの重要なモジュールを含む 。 ・医療記録ライブラリには、成功した治療ケースが記録されており、経験ベースには失敗した治療から得た教訓 が蓄積される。これらのライブラリは、エージェントが診断や治療を⾏う際に参考として使⽤される。 ⾃律的進化: ・医師エージェントは、シミュレートされた患者と相互作⽤しながら、成功事例や失敗事例から経験を積み上げ て進化する。シミュレーション実験では、MedAgent-Zero戦略に基づく医師エージェントが、様々な医療タ スクにおいて⼀貫して性能を向上させることが⽰された。 実世界への適⽤: ・Agent Hospitalで得られた知識と経験は、実世界の医療ベンチマーク（例えばMedQAデータセット）にも 適⽤可能であることが⽰された。実際、MedAgent-Zeroによって進化した医師エージェントは、実世界 のデータセットにおいて最先端の精度を達成した。

4 提案⼿法＠Agent Hospital ・患者エージェントのケネス・モーガンが体調を崩し、Agent Hospitalを訪れる。 ・看護婦エージェントのキャサリン・リーがモーガンの症状の初期評価を⾏い、⽪膚科を紹介する。 ・モーガンは病院のカウンターに登録し、⽪膚科医エージェント ロバート・トンプソンの診察を受ける。 ・所定の診察を受けた後、モーガンは診断と投薬を受ける。 ・モーガンは⾃宅に戻って安静にし、症状の回復を⾒守る。

4 提案⼿法@MedAgent-Zero Method MedAgent-Zero法の概要 医師が⾃⼰進化を遂げる⽅法を図に⽰す 1）正解した治療経験を医療記録ライブラリに追加する 2）不正解した治療経験を振り返り(Reflection), 再テストする 3）不正解した治療経験を克服したものを, 経験ベースに組み込む 4）推論時に、両⽅のライブラリ（医療記録ライブラリと経験ベース）を利⽤して推論する。

5 エージェントとデータ エージェント: ・医師エージェント: 主に診断、治療推奨、および治療計画を⾏うために設計。エージェントはLLMを基に構築さ れ、 シミュレーション環境内で患者エージェントと相互作⽤し、経験を積み重ねて進化する。 ・患者エージェント: ランダムに病気にかかる住⺠エージェントであり、病院を訪れて診察を受け、 治療計画を提供される。 ⼊⼒データ: ・患者の症状: 患者エージェントは、病気にかかった際に具体的な症状（例えば、喉の不快感、乾いた咳、⼝の乾き など）を持ち、これを医師エージェントに報告する。 ・医療記録ライブラリ: 成功した治療ケースの記録が含まれ、医師エージェントが診断や治療を⾏う際に参考 とするデータ 。 ・経験ベース: 失敗した治療から得た教訓が蓄積されており、医師エージェントの診断や治療計画の改善に 役⽴てられる 。 出⼒データ: ・診断結果: 医師エージェントが患者の症状と医療検査結果に基づいて診断を⾏い、病名を特定 （例: 慢性気管⽀炎） 。 ・治療計画: 診断に基づいて、患者の症状の重症度に応じた治療計画（軽度、中等度、重度の治療プラン） を提供 。 ・回復状態の予測: 治療後の患者エージェントの健康状態の変化を予測し、回復状況を報告。 9

5 エージェントとデータ@Agent 10

6 評価⽅法@評価指標 診療、診断、および治療計画、３つの主要能⼒の評価: ・診療能⼒の評価: 患者の症状に基づいて16種類の候補から医療検査を選択。 選択が事前定義された適切な医療検査と⼀致する場合に正解とする。 ・診断能⼒の評価: 患者の症状と医療検査結果に基づいて、8つの病気の中から 正しいものを選ぶように促す。 ・治療計画の評価: 症状と検査結果に基づいて、患者の状態に応じた治療計画 （軽度、中等度、重度の三つの治療計画の中から）を推奨する。 各タスクの評価指標として精度（Accuracy）を⽤いる データセット: シミュレートされた医療データセットを⽤いて評価を⾏う。 このデータセットには、名前、年齢、性別、現在の病気、症状の重症度、⽣理的症状、必要な診断検査 などの詳細な患者プロファイルと医療履歴が含まれている。 訓練データセット 10,000 テストデータセット 500 11

7 結果と考察 (a) シミュレーション評価 ・訓練パフォーマンス: MedAgent-Zeroに基づいて訓練された医師エージェントは、診療、診断、 および治療のタスクにおいて、訓練サンプル数の増加に伴い⼀貫して 性能が向上した。 具体的には、以下の精度を達成した︓ 診療タスク︓88% 診断タスク︓95.6% 治療タスク︓77.6% ・個別の病気に対する性能: 各病気に対する性能を評価した結果、訓練サンプルが増加するにつれて、 異なる病気の診療、診断、および治療の精度が向上することが⽰せた。 例えば、気管⽀喘息は⽐較的処理が容易で、診療および治療の精度が⾼い傾向が⾒られた。 12

7 結果と考察 (b) 実世界評価 ・MedQAデータサブセット[1]での評価: Agent Hospitalで得られた経験を⽤いて、MedQAデータセットのサブセットに対して 医師エージェントの性能を評価した。 MedAgent-Zero戦略を適⽤した医師エージェントは、最先端の93.06%の精度を達成。 この結果は、⼿動でラベル付けされたデータを⼀切使⽤せずに、シミュレーション環境内で進化 したエージェントが実世界の医療タスクにも⾼い性能を⽰すことを裏付けた。 (c) アブレーションスタディ ・MedAgent-Zeroの効果: アブレーションスタディを⾏った結果、医療記録ライブラリと経験ベースの両⽅を使⽤することで、 医師エージェントの性能が最も⾼くなることが⽰された。 GPT-4を使⽤した場合、両⽅のモジュールを使⽤した結果が、個別に使⽤した場合よりもそれぞれ 1.39%および2.78%⾼い精度を⽰した。 [1] MedQAデータサブセット: ⽶国医師国家試験の質問形式を模倣したMedQAデータセットのサブセットを使⽤し、 GPT-3.5 によって選ばれた呼吸器疾患に関連する72の質問で構成されたデータ 13

8 まとめ＠主な貢献 包括的なシミュレーション環境の創造: Agent Hospitalは、患者の来院から診断、フォローアップまでの全治療フェーズをシミュレートし、患 者、看護師、医師の役割を⾃律エージェントで表現することができた。 MedAgent-Zero ⽅法論の導⼊: この新しいトレーニング戦略では、医師エージェントがシミュレーション内で成功した治療と失敗した 治療から学び、⼿動でラベル付けされたデータに頼らずに治療能⼒を進化させることができた。これは ⼈間の医師の学習プロセスを模倣することに相当する。 シミュレーションおよび現実世界のベンチマークでの有効性の実証: Agent Hospitalでトレーニングされた医師エージェントは時間とともに性能が向上した。 特筆すべきは、これらのエージェントが約1万⼈の患者を治療した後、MedQAデータセットのサブセッ トで93.06％の正確さを達成したことであり、シミュレーションで習得したスキルの実⽤的な応⽤可能 性を⽰している。 14

感想 ⼤規模LLMの応⽤可能性として⾃律エージェントがある。 2023年のGenerative Agent[1]は、⼈間の社会的⾏動（例えば、パーティを開く）を、仮想環境にいる複数 ⼈のエージェントが⾃律的に⾏動し、他のエージェントたちにパーティ情報を広めたり、カフェを飾り付けた り、パーティで友⼈エージェントと交流するといったことが実現できることを⽰した。 この研究は、[1]の成果に感化され実施されたものだと思われる。 医療対話研究においては、医療対話の訓練のためのチャットボットなどが研究されてきたが、病院全体をシ ミュレートし、医師エージェントの能⼒を向上させる研究はこの研究が世界で初めてである。 今後、考えられることは、この仮想環境に現実の研修医が参加し、現実の研修医の訓練を⾏うインタラクティ ブシステムの構築だろう。 また、COVID-19の対応など、リアルデータを仮想環境に投⼊した場合に、国家の政策が絡む場合と、そうで ない場合で、仮想世界が出⼒する対応がどう変わるのかを調べるのも⾯⽩い。 本研究は、医療の世界の意思決定のシミュレーションでもある。 意思決定⽀援にLLMと世界モデルが活⽤されていく萌芽をこの論⽂から感じることができた。 [1] Generative Agents: Interactive Simulacra of Human Behavior, 2023 15

DEEP LEARNING JP [DL Papers] “Agent Hospital: A Simulacrum of Hospital with Evolvable Medical Agents” Shusaku SONE http://deeplearning.jp/ 16

• http://deeplearning.jp/