【DL輪読会】Gamma-World: Generative Multi-Agent World Modeling Beyond Two Players

Gamma-World: Generative Multi-Agent World Modeling Beyond Two Players Yang Hu, Matsuo Lab M1 1

書誌情報 • Gamma-World: Generative Multi-Agent World Modeling Beyond Two Players – Fangfu Liu, Kai He, Tianchang Shen, Tianshi Cao, Sanja Fidler, Yueqi Duan, Jun Gao, Igor Gilitschenski, Zian Wang, Xuanchi Ren – NVIDIA / Tsinghua University / University of Toronto / Vector Institute – arXiv:2605.28816（2026年5月27日公開）・コードとデモ公開済み（nv-tlabs/Gamma-World） • 概要：複数プレイヤーが同一の世界を共有する状況で、全員分の視点を同時にシミュレートする動画世界モデル • 置換対称なエージェント表現（Simplex 符号化）と線形コストの通信（Sparse Hub Attention）を Cosmos ベースの DiT に 導入し、3段階の蒸留で 24 FPS のストリーミング生成を実現 • 2人データのみの学習から4人の同期生成へゼロショットで汎化。Minecraft ベンチマークで先行研究 Solaris を全項目で上 回る 2

背景：世界モデルはなぜ「マルチエージェント」が必要か • 既存の動画世界モデル（Genie, Oasis, Matrix-Game, Cosmos 等）はほぼ単一エージェントのシミュレータ – 1本のアクション列・1つの視点を条件に将来観測をロールアウトする • しかしシミュレートしたい世界は「複数主体」が前提 – マルチプレイヤーゲーム／ロボットの協調作業／身体性AIの相互作用 • 単一→複数への移行で新しい一貫性要件が生じる – 時間方向の一貫性に加えて、エージェント視点間の一貫性が必要 – 全エージェントが同一の進化する世界を共有し、そこに作用する • 各視点を独立に生成すると、同じ場所を見ている2人が異なる世界を観測してしまう 3

問題設定：マルチエージェント世界モデルとは やること：全員分の「これまでの観測とアクション」を入れると、全員分の「次の観測」が出てくる（Solaris も γ-World も同じ設定 ） Agent 1 Agent 1 の次の観測 観測 + アクション Agent 2 観測 + アクション ・・・ Agent P 観測 + アクション 世界モデル 1つのモデルが 全員をまとめて処理 Agent 2 の次の観測 Agent P の次の観測 重要な制約：全員が「同じ1つの世界」を見ている → 時間方向だけでなく視点間でも矛盾してはいけない 4

動画拡散 DiT をどこで「多人数化」するか P 人分の観測・アクション VAE（凍結・そのまま） Ａ｜latent に P 軸を追加 全員分をひとつのテンソルで拡散 DiT Block（×B 層） Ｃ｜アクション エンコーダ Ｂ｜Self-Attention Ａ 状態空間 プレイヤー軸 P を追加し、全員の動画をひとつのtensorとして まとめてデノイズ。 Ｂ｜Self-Attention agent 間で情報が交わる唯一の場所。 「情報をどう交換するか」「誰の token かをどう識別するか」はすべてここで決まる agent 間で唯一の共有部分 全員で共有 Cross-Attn（首帧条件）そのまま Ｃ アクションの注入 ション＝同じ表現） 各 block に注入口。エンコーダは全員共有（同じアク FFN そのまま 全員の次フレーム 5

先行研究 Solaris の2つの構造的限界 Solaris（NYU, 2026）＝ Minecraft 上の2人用世界モデル：全エージェントのトークンを1本の系列に連結し、dense self-attention＋プ レイヤー別の学習済みID埋め込み 限界1：dense joint attention（全対全） 限界2：スロット固有の学習済みID 映像トークン （内容） 隠れ系列の1トークン（クエリ） ＋ ID₁ ベクトル （学習される） → 混ざる 分離不能 足し算で注入 → 学習で「スロットの癖」まで ID に焼き付く スロット1 → ID₁ スロット2 → ID₂ Agent 1 Agent 2 Agent 3 各トークンが系列の全トークンを参照（赤＝他エージェントへの参照） 系列長 ∝ P·n·L → コスト ∝ (P·n·L)² P: 2→4→8 で計算量 1×→4×→16×（2乗） ID は2人分しか存在しない 3人目 ＝ 表を作り直して再学習 スロット3 → ？ 席順が個体を定義 → 置換対称性の破壊 問い：個別制御可能・置換対称・2人超へスケール可能なエージェント表現は作れるか？ 6

① Sparse Hub Attention：hub経由の2ホップ通信 • 動機：共有世界でのエージェント間の影響は、コンパクトな環境状態を介し て伝わる – 毎層・全対全のトークン交換は過剰 • 設計：学習可能な hub トークン（フレームあたり K=8）を追加 – agent トークン：自ストリーム + hub のみ参照 – hub トークン：全エージェント + 他の hub を参照 – エージェント間の直接の attentionはマスク → 情報は agent→hub→agent の2ホップ • コスト：O(P²n²L²) → P に線形 • hub の RoPE：時間位相のみ継承、agent・空間帯域は恒等回転（＝どの個体に も中立） 図：論文 Fig.2 より。青＝自分の流れ、橙＝Hub、白＝遮断 7

② Agent Embedding（1）：なぜ RoPE で実装するのか • やりたいこと：各 token に「誰のものか」の印をつけたい（条件：個別制御・置換対称・人数拡張） • 素朴な方法：特徴ベクトルに ID を足す h ← h + eₚ（＝ Solaris の方式） – 印が内容と同じベクトルに混ざり、residual を通じて全層へ伝播する – 内容を壊さない「空き次元」は学習でしか見つからない → ID は学習ベクトルにならざるを得ない – 学習ベクトルはスロットの癖を吸収し、固定名簿に縛られる（前頁・限界2 はこの帰結） • γ-World の転換：印は「中身」ではなく「読み方」につける ＝ RoPE の回転角に書く – attention の直前に q・k を R(θₚ) で回すだけ。スコアには回転角の差 θₚ − θ_q だけが現れる – 内容は無傷：回転は中身を変えない（v は回さない）→ 空き次元を探す必要がそもそもない – 読み方は既習：「角度の差から情報を読む」のは RoPE モデルの本業 → 新しく学ぶ必要がない – だから学習不要：角度は構造で決め打ちできる → 学習パラメータゼロ・名簿なし 残る設計問題はただ1つ：agent ごとの回転角 θₚ をどう配置するか？ → 次頁 8

② Agent Embedding（2）：RoPE をどう改造するか • 手順1｜agent 軸の新設：RoPE を 3D → 4D に。head 次元を（時間 64・agent 32・縦 16・横 16）へ分割し、時間帯域の低周波 側から 32 次元を転用（ReRoPE 流） • 手順2｜角度の配置：直線（θₚ = pω）はペア距離が不均等で誰かが特別に ✗ → 正単体の頂点なら全ペア等距離 図：論文 Fig.2 より • 手順3｜運用：学習時は毎ステップ頂点をランダム割当＋順序シャッフル（頂点に個性がつかない）／推論時は空き頂点で 人数追加（再学習不要・V=4 → 最大4人）／学習パラメータゼロ 要点：印は「足す」のではなく「回す」。角度は「並べる」のではなく「単体の頂点に置く」 9

①＋②：同じ attention 層に重なる2つの工程 • 同じ self-attention 層の中で、役割の違う2つの工程が重なっている – ② Simplex RoPE ＝ 宛先：各 token に「誰のものか」の回転位相を刻む – ① Hub マスク ＝ 配線：「誰が誰を見られるか」を決める（自分＋Hub の み、agent 直結は ✕） • 2つは直交している – 同じ q·k スコア計算に作用するが、片方を入れ替えてももう片方は変更不 要 – → Table 2 で別々に ablation できる理由もこれ • Hub token の agent 帯域は恒等回転（位相なし） – どの agent との位相差も同じ → 全員に中立な「公用の黒板」であること の幾何的保証 図：論文 Fig.2 より 10

アクション注入とストリーミング推論 • アクションエンコーダ（全員で共有） – ゲーム内アクション：23次元の離散キー入力 + 2次元の連続カメラ操作（計25フィールド／フレーム） – 層ごとに射影したアクション特徴を、該当エージェント・フレームの全空間トークンへバイアス加算 – エンコーダ共有 → 同じアクションは誰が出しても同じ表現（対称性の維持） • ブロック因果生成（Diffusion Forcing / Self-Forcing 系） – 時間ブロックごとに独立なノイズレベル、各クエリは現在以前のブロックのみ参照 • KVキャッシュの構造 – エージェント別キャッシュ + hub共有キャッシュ → キャッシュ利用時も情報経路は hub 経由のみ – 直近24潜在フレームの局所 attention 窓 → キャッシュ量が生成長と独立 11

学習戦略：3段階パイプライン（この分野の標準レシピ） Stage 1｜双方向教師 dense attention・全コンテキスト 品質の上限を担う Stage 2｜因果学生 Stage 3｜条件付きDMD蒸留 ブロック因果+SHA 完全な多段拡散として学習 Self-Forcing流・4ステップ 自己rolloutでKVに書込み • 教師は学習時のみ使用：時間・エージェント方向の完全な可視性で条件付き分布を高品質にモデル化 • 因果学生は「ウォームアップ」でなく完全な多段拡散モデルとして学習 → 蒸留の安定した出発点 • 蒸留は条件付き：初期観測とアクションを教師・学生の双方に与え、アクション応答性と初期状態の保持を担保 • 結果：24 FPS のストリーミング推論。CFGなしの方が高精度という報告も興味深い モデル変種 FVD ↓ FID ↓ PSNR ↑ 双方向教師 227.3 31.0 27.7 因果学生（多段） 266.4 34.4 26.2 蒸留後（4ステップ） 239.7 30.9 26.8 12

主結果：ベースライン比較（FVD ↓） • 比較対象：Frame concat（Multiverse流・複数視点を1本のストリームに統合）／ Solaris（dense attention+スロットID） • 5つの評価プロトコル：記憶・接地・移動・建築・視点間一貫性 手法 Memory Grounding Movement Building Consistency Frame concat 450.6 528.3 556.9 551.8 576.0 Solaris 333.8 301.9 311.1 448.6 443.1 γ-World（提案） 184.1 199.3 191.5 264.5 280.0 • 全プロトコルで大幅改善。特に Consistency は 443.1 → 280.0（FIDも 94.8 → 46.9 と同傾向） • 解釈：視点を1本に潰す（Frame concat）のでも、全対全に絡めて固定IDで区別する（Solaris）のでもなく、「独立だが結合した 交換可能な実体」として扱う設計の効果 13

Ablation：各設計の寄与 構成 ID符号化 相互作用 FVD ↓ Hub数 K FVD ↓ 空間連結 なし dense 312.4 1 250.9 系列連結 なし dense 285.6 8 223.4 系列連結 View埋め込み dense 256.3 32 221.8 系列連結 Simplex dense 228.5 128 220.5 系列連結（完全版） Simplex Hub 223.4 • 空間連結→系列連結：視点ごとの解像度を固定でき、人数可変と相性が良い • View埋め込み → Simplex：FVD 256.3 → 228.5。順序を特権化しない識別の効果 • dense attention → Hub attention：品質ほぼ同等（228.5 → 223.4）のまま計算量を線形化 • Hub数は K=8 以降ほぼ飽和 → エージェント間通信は「狭帯域チャネル」で十分という示唆 14

効率とスケーラビリティ：2人学習 → 4人ゼロショット エージェント数 self-attentionレイテンシ（dense / Hub） self-attentionFLOPs（dense / Hub） 2 2.5 ms / 2.8 ms 477.8 G / 245.3 G 4 5.1 ms / 3.2 ms 1.9 T / 490.5 G 8 17.6 ms / 4.5 ms 7.6 T / 981.0 G • dense attentionは2乗、Hub attentionは線形で増加 → 8人時点でレイテンシ約4倍・FLOPs約8倍の差 • ゼロショット人数汎化：2人データのみで学習したモデルが、アーキテクチャ変更なしに4人の同期ロールアウトを生成（Fig 5） – Simplex符号化（固定スロットIDなし）と Hub通信（全対全に依存しない）の合わせ技で実現 • ただし注意：4人汎化の根拠は定性評価のみ。Table 1 に人数別の分解はなく、定量的なスケーリング曲線は未提示。プール V=4 が現チェックポイントの上限 15

定性結果と実世界への拡張 • 2人相互作用（Minecraft） – 一方のエージェントのアクションが、相手の視野内の観測に反映される – 相手が視野外に出ても物体・エージェントの接地（grounding）を維持 – → 各視点の独立生成ではなく、共有された潜在世界状態を追跡していることを示唆 • 2人学習 → 4人ロールアウト（Fig 5） – 同一モデル・同一重みで4視点の同期ストリームを生成 • 実世界ロボティクスへの拡張（RealOmin-Open） – 左右のロボットアームを「2つのエージェント」として扱い、双腕協調の将来フレームを予測 – ゲーム内プレイヤーと物理世界のロボットを同一の定式化で扱える汎用性 • 動画デモ：research.nvidia.com/labs/sil/projects/gamma-world/（発表ではここで再生） 16

まとめ・限界・所感 • 貢献のまとめ – ① Sparse Hub Attention：エージェント間通信コストを2乗→線形に削減 – ② Simplex Rotary Agent Encoding：パラメータフリーで置換対称なエージェント識別 – 学習：標準の3段階レシピ（教師→因果化→蒸留）を①②と両立させ、24 FPS のアクション応答生成を実証 – 総括：「2人ならできる」から「原理的にスケールする」への一歩 • 著者が認める限界 – 評価がゲーム環境とロボット例に限定・大人数にはより大きい回転帯域か階層的グループ化が必要 – 3D幾何・物理制約を明示的に課していない → 長尺ロールアウトで不整合が蓄積しうる • 発表者の所感（議論ポイント） – 視点間一貫性の評価が FVD/FID のみで、幾何的な整合性指標（再投影誤差等）がない – 4人へのゼロショット汎化は定性評価どまり：人数を横軸にした定量的な劣化曲線が今後必要 • arXiv:2605.28816 ／ github.com/nv-tlabs/Gamma-World ／ project page に動画デモ多数 17