yamakawa_WMB-CTM_slide
3.4K Views
October 23, 23
スライド概要
モデルベース強化学習の一つである世界モデルは，エージェントの行動から生じる環境の遷移を予測するモデルである. 世界モデルを用いることでサンプル効率の向上や未知のタスクへの適応を向上させることが期待されている． しかし，世界モデルは他の強化学習モデルに比べて規模が大きく，モデルの学習時間が長くなることや，モデルの実行が計算機の制約を受けることが懸念される．そのため，モデルの学習の効率化とモデルの規模の縮小を両立させるために転移学習とモデル圧縮を適用することで世界モデルの実用性を高めることを考えた. 本調査の目的は上記の2つの手法の適用による世界モデルの性能への影響を検証にある．調査の結果2つの示唆が得られた．（１）提案手法（モデル圧縮 + 転移学習手法）を適用した場合の方が，モデル圧縮を適用せず目的のタスク単体で学習した場合よりも性能が高くなる可能性があること．（2）提案手法はハイパーパラメタの変更に頑健な可能性があること，である．
関連スライド
各ページのテキスト
人間レベルAIへの到達を定義するための 包括的技術地図 一般情報処理能力リスト×Entification能力リスト 山川宏1,2 松尾豊1 1. 東京大学 工学系研究科 2. 全脳アーキテクチャ・イニシアティブ
まとめ • AGIという目標は完成を定義する十分条件となっていない – 「様々なタスクを1つのシステムで解決する能力」 • AGI完成条件となる包括的技術マップの枠組みを提案 – 全てを埋め尽くせば、完成と言い切れるマップが欲しい • 「知能(C)＝汎用情報処理(A)×Entification処理(B)」とする – 汎用情報処理(A)： Entity操作とEntification獲得処理 – Entification処理(B)：知覚処理と表出処理 • そうであれば（A)と(B)を網羅的に開発できればAGI完成 • 主な残り部分：社会性、移動、新たなカテゴリ等の形成 2
Agenda 1. はじめに 2. 包括的技術地図アプローチ 3. 世界モデル処理に基づく包括的技術地図 4. 制覇状況の進展（山川の私見） 5. まとめ 3
Agenda 1. はじめに 2. 包括的技術地図アプローチ 3. 世界モデル処理に基づく包括的技術地図 4. 制覇状況の進展（山川の私見） 5. まとめ 4
AGIという目標の課題：十分条件となりえない • 汎用人工知能という目標 一つのシステムで様々なタスクを解決できること • 必要条件ではあるが十分条件となれないAGI – 必要条件： 人間レベルAIは様々なタスクを解決できる • あらゆるAIが特化型であった時代は良い目標であった – 十分条件： タスク集合Tに含まれるすべてのタスクを解決できる • ある程度は汎用性の高いAIがあらわれてくると完成目標とはならない • なぜなら、網羅的なタスク集合Tを定められない 5
Agenda 1. はじめに 2. 包括的技術地図アプローチ 3. 世界モデル処理に基づく包括的技術地図 4. 制覇状況の進展（山川の私見） 5. まとめ 6
包括的技術地図アプローチ 基本的には次のような作業を経ることによって人間レベルAI が完成する時期を推定する。 • Step 1. ある技術的な観点から、人間レベルの能力を適度な 粒度の技術要素で網羅した地図を作成する。 • Step 2.その地図上において現時点で実現されている技術要 素の範囲を把握し、その成功要因を分析する。 • Step 3. 地図上で、未踏の技術要素を踏破するための課題を 議論し、その全ての克服に要する期間を予測する。 • Step 4. 全ての技術要素が実現される時期をAIが完成する時 期とする。 7
先行例 包括的技術地図アプローチ： 達成すべき範囲の全体集合を網羅できる必要がある • 二重過程理論 – システム１は深層学習技術で達成できているが、システム２は今 後取り組む必要がある。 – 課題は、粒度が粗すぎること、システム１／２の定義が曖昧 • 脳部品要件（全脳アーキテクチャ・イニシアティブ） – 全ての主要脳器官が実装されている。 – 課題は、すべての脳器官が実装されても、AIとしての機能の保証 につながるか否かが明らかでない 8
Agenda 1. はじめに 2. 包括的技術地図アプローチ 3. 世界モデル処理に基づく包括的技術地図 4. 制覇状況の進展（山川の私見） 5. まとめ 9
Entification： 典型的には遠位にある存在を把握する表象 私たちを含む知的な主体が広く世 界を認識するためには、近接して 得られる刺激ではなく、遠位にあ る存在（Entity）を表す表象を用い る［鈴木, 2015］。 遠隔センサの 一般的な特性 鈴木貴之. ぼくらが原子の集まりなら、なぜ痛 みや悲しみを感じるのだろう 勁草書房, 2015. 10
Entification からみた世界モデルにおける4 種類の処理 XM ,YM ：要素記述 SM ： 構造/振る舞い記述 XE , YE ：環境中の要素 SE ： 環境中の構造/振る舞い hX ： 写像 世界モデル: M Entity 操作処理 hX YM hY XE S Y E E 表出 処理 Entification 関連処理 環境: E 知覚 処理 XM Entification Entification 関連処理 Entification 獲得処理 SM Entification 関連処理 • 知覚処理： 特定のモダリ ティで、環境内の構造から Entity記述をえる • 表出処理： 特定のモダリ ティで、Entity 記述から環境 に対して表現や行動を行う 汎用情報処理 • Entity 操作：Entity 記述に対 する行われる様々な操作。 例えば推論や問題解決など • Entification 獲得処理：知覚 処理と表出処理を主に学習 を通じて獲得する。
一般的な情報処理を行うFoundation Model（Gatoを例に） 様々なモダリティの処理をまと めて扱う一般的な情報処理 （Transformerを利用） A Generalist Agent. https://www.deepmind.com/publications/a-generalist-agent 12
人間の仕事に関わる能力の18分類(McKinsey, 2017) 2017年時点のAI技術が人間のパフォーマンスを達成している程度 あまりできていない Manyika, J., Chui, M., Miremadi, M., Bughin, J., George, K., Willmott, P., & Dewhurst, M. (2017). A future that works: AI, automation, employment, and productivity. McKinsey Global Institute Research, Tech. Rep, 60, 1–135. だいぶできてる 13
世界モデル上の処理に基づく包括的技術地図 知能(C)＝汎用情報処理(A)×Entification処理(B) AI開発者は(A)と (B)を網羅的に構築すれば十分。 14
Agenda 1. はじめに 2. 包括的技術地図アプローチ 3. 世界モデル処理に基づく包括的技術地図 4. 制覇状況の進展（山川の私見） 5. まとめ 15
機械学習AIが様々なEntityを扱えるようになってきている Universalの表現は ML-AI内のモデルで ある。モデルをカテ ゴラズすることで進 歩が期待される。 普遍的質 例：頭痛、日焼け 普遍的実態 特徴づける 例化する 個別的実態の Entificationが確立し た後での進展が期待 される。 Disentanglement研 究に関連 例：人間、ネコ 例： 交尾、歩行 例化する 個別的質 例：この頭痛、 この日焼け 普遍的プロセス 例化する 個別的実態 内属する 例： この人間、 このネコ 個別的プロセス 参与する 例： この交尾、 この歩行 実態に対するEntificationの技術的な要素が揃いつつあります。 AGIに必要とされる柔軟 言語的な指示に基づく物理的なイメージの融合は既に実現さ にタスクを結合する創 れている。 造力につながる。（タス An astronaut riding hose in a photorealistic style Teddy bears shopping for groceries as a one-line drawing OpenAI (2022). https://openai.com/dall-e-2/ 16 クはプロセスであるため） 例えば、キッチンで料理を する作業と片付ける作業を 区別しながら、同時に組み 合わせて効率的に実行
動画に対する深層学習研究の進展（プロセス理解への入口） Ulhaq, A., Akhtar, N., Pogrebna, G., & Mian, A. (2022). Vision Transformers for Action Recognition: A Survey. In arXiv [cs.CV]. arXiv. http://arxiv.org/abs/2209.05700 複数の時空間解像度での 推論を可能にしたMTV Yan, S., Xiong, X., Arnab, A., Lu, Z., Zhang, M., Sun, C., & Schmid, C. (2022). Multiview Transformers for Video Recognition. In arXiv [cs.CV] (pp. 3333– 3343). 2022年9月時点 17
包括的技術地図上の制覇状況（2017） 知能(C)＝汎用情報処理(A)×Entification処理(B) 18
包括的技術地図上の制覇状況（2023：山川の私見） 知能(C)＝汎用情報処理(A)×Entification処理(B) 19
Agenda 1. はじめに 2. 包括的技術地図アプローチ 3. 世界モデル処理に基づく包括的技術地図 4. 制覇状況の進展（山川の私見） 5. まとめ 20
まとめ • AGIという目標は完成を定義する十分条件となっていない – 「様々なタスクを1つのシステムで解決する能力」 • AGI完成条件となる包括的技術マップの枠組みを提案 – 全てを埋め尽くせば、完成と言い切れるマップが欲しい • 「知能(C)＝汎用情報処理(A)×Entification処理(B)」とする – 汎用情報処理(A)： Entity操作とEntification獲得処理 – Entification処理(B)：知覚処理と表出処理 • そうであれば（A)と(B)を網羅的に開発できればAGI完成 • 主な残り部分：社会性、移動、新たなカテゴリ等の形成 21 ご清聴ありがとうございました