---
title: 【DL輪読会】Gamma-World: Generative Multi-Agent World Modeling Beyond Two Players
tags: 
author: [Deep Learning JP](https://docswell.com/user/DeepLearning2023)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/G75M4GVQ74.jpg?width=480
description: 【DL輪読会】Gamma-World: Generative Multi-Agent World Modeling Beyond Two Players by Deep Learning JP
published: July 23, 26
canonical: https://docswell.com/s/DeepLearning2023/KE1Q91-2026-07-28-102201
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/G75M4GVQ74.jpg)

Gamma-World: Generative Multi-Agent World Modeling
Beyond Two Players
Yang Hu, Matsuo Lab M1
1


# Page. 2

![Page Image](https://bcdn.docswell.com/page/9J29VY3WER.jpg)

書誌情報
• Gamma-World: Generative Multi-Agent World Modeling Beyond Two Players
– Fangfu Liu, Kai He, Tianchang Shen, Tianshi Cao, Sanja Fidler, Yueqi Duan, Jun Gao, Igor Gilitschenski, Zian Wang, Xuanchi Ren
– NVIDIA / Tsinghua University / University of Toronto / Vector Institute
– arXiv:2605.28816（2026年5月27日公開）・コードとデモ公開済み（nv-tlabs/Gamma-World）
• 概要：複数プレイヤーが同一の世界を共有する状況で、全員分の視点を同時にシミュレートする動画世界モデル
• 置換対称なエージェント表現（Simplex 符号化）と線形コストの通信（Sparse Hub Attention）を Cosmos ベースの DiT に
導入し、3段階の蒸留で 24 FPS のストリーミング生成を実現
• 2人データのみの学習から4人の同期生成へゼロショットで汎化。Minecraft ベンチマークで先行研究 Solaris を全項目で上
回る
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/DEY43G19JM.jpg)

背景：世界モデルはなぜ「マルチエージェント」が必要か
• 既存の動画世界モデル（Genie, Oasis, Matrix-Game, Cosmos 等）はほぼ単一エージェントのシミュレータ
– 1本のアクション列・1つの視点を条件に将来観測をロールアウトする
• しかしシミュレートしたい世界は「複数主体」が前提
– マルチプレイヤーゲーム／ロボットの協調作業／身体性AIの相互作用
• 単一→複数への移行で新しい一貫性要件が生じる
– 時間方向の一貫性に加えて、エージェント視点間の一貫性が必要
– 全エージェントが同一の進化する世界を共有し、そこに作用する
• 各視点を独立に生成すると、同じ場所を見ている2人が異なる世界を観測してしまう
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/VJNYVG2D78.jpg)

問題設定：マルチエージェント世界モデルとは
やること：全員分の「これまでの観測とアクション」を入れると、全員分の「次の観測」が出てくる（Solaris も γ-World も同じ設定
）
Agent 1
Agent 1 の次の観測
観測 + アクション
Agent 2
観測 + アクション
・・・
Agent P
観測 + アクション
世界モデル
1つのモデルが
全員をまとめて処理
Agent 2 の次の観測
Agent P の次の観測
重要な制約：全員が「同じ1つの世界」を見ている → 時間方向だけでなく視点間でも矛盾してはいけない
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/YE9P6W18J3.jpg)

動画拡散 DiT をどこで「多人数化」するか
P 人分の観測・アクション
VAE（凍結・そのまま）
Ａ｜latent に P 軸を追加
全員分をひとつのテンソルで拡散
DiT Block（×B 層）
Ｃ｜アクション
エンコーダ
Ｂ｜Self-Attention
Ａ 状態空間 プレイヤー軸 P を追加し、全員の動画をひとつのtensorとして
まとめてデノイズ。
Ｂ｜Self-Attention agent 間で情報が交わる唯一の場所。
「情報をどう交換するか」「誰の token かをどう識別するか」はすべてここで決まる
agent 間で唯一の共有部分
全員で共有
Cross-Attn（首帧条件）そのまま
Ｃ アクションの注入
ション＝同じ表現）
各 block に注入口。エンコーダは全員共有（同じアク
FFN そのまま
全員の次フレーム
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/GE8DZN4ZED.jpg)

先行研究 Solaris の2つの構造的限界
Solaris（NYU, 2026）＝ Minecraft 上の2人用世界モデル：全エージェントのトークンを1本の系列に連結し、dense self-attention＋プ
レイヤー別の学習済みID埋め込み
限界1：dense joint attention（全対全）
限界2：スロット固有の学習済みID
映像トークン
（内容）
隠れ系列の1トークン（クエリ）
＋
ID₁ ベクトル
（学習される）
→
混ざる
分離不能
足し算で注入 → 学習で「スロットの癖」まで ID に焼き付く
スロット1 → ID₁
スロット2 → ID₂
Agent 1
Agent 2
Agent 3
各トークンが系列の全トークンを参照（赤＝他エージェントへの参照）
系列長 ∝ P·n·L → コスト ∝ (P·n·L)² P: 2→4→8 で計算量 1×→4×→16×（2乗）
ID は2人分しか存在しない
3人目 ＝ 表を作り直して再学習
スロット3 → ？
席順が個体を定義 → 置換対称性の破壊
問い：個別制御可能・置換対称・2人超へスケール可能なエージェント表現は作れるか？
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/LELMDP617R.jpg)

① Sparse Hub Attention：hub経由の2ホップ通信
• 動機：共有世界でのエージェント間の影響は、コンパクトな環境状態を介し
て伝わる
– 毎層・全対全のトークン交換は過剰
• 設計：学習可能な hub トークン（フレームあたり K=8）を追加
– agent トークン：自ストリーム + hub のみ参照
– hub トークン：全エージェント + 他の hub を参照
– エージェント間の直接の attentionはマスク → 情報は agent→hub→agent の2ホップ
• コスト：O(P²n²L²) → P に線形
• hub の RoPE：時間位相のみ継承、agent・空間帯域は恒等回転（＝どの個体に
も中立）
図：論文 Fig.2 より。青＝自分の流れ、橙＝Hub、白＝遮断
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/4JMYP455JW.jpg)

② Agent Embedding（1）：なぜ RoPE で実装するのか
• やりたいこと：各 token に「誰のものか」の印をつけたい（条件：個別制御・置換対称・人数拡張）
• 素朴な方法：特徴ベクトルに ID を足す
h ← h + eₚ（＝ Solaris の方式）
– 印が内容と同じベクトルに混ざり、residual を通じて全層へ伝播する
– 内容を壊さない「空き次元」は学習でしか見つからない → ID は学習ベクトルにならざるを得ない
– 学習ベクトルはスロットの癖を吸収し、固定名簿に縛られる（前頁・限界2 はこの帰結）
• γ-World の転換：印は「中身」ではなく「読み方」につける ＝ RoPE の回転角に書く
– attention の直前に q・k を R(θₚ) で回すだけ。スコアには回転角の差 θₚ − θ_q だけが現れる
– 内容は無傷：回転は中身を変えない（v は回さない）→ 空き次元を探す必要がそもそもない
– 読み方は既習：「角度の差から情報を読む」のは RoPE モデルの本業 → 新しく学ぶ必要がない
– だから学習不要：角度は構造で決め打ちできる → 学習パラメータゼロ・名簿なし
残る設計問題はただ1つ：agent ごとの回転角 θₚ をどう配置するか？
→
次頁
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/PJR91W3Z79.jpg)

② Agent Embedding（2）：RoPE をどう改造するか
• 手順1｜agent 軸の新設：RoPE を 3D → 4D に。head 次元を（時間 64・agent 32・縦 16・横 16）へ分割し、時間帯域の低周波
側から 32 次元を転用（ReRoPE 流）
• 手順2｜角度の配置：直線（θₚ = pω）はペア距離が不均等で誰かが特別に ✗ → 正単体の頂点なら全ペア等距離
図：論文 Fig.2 より
• 手順3｜運用：学習時は毎ステップ頂点をランダム割当＋順序シャッフル（頂点に個性がつかない）／推論時は空き頂点で
人数追加（再学習不要・V=4 → 最大4人）／学習パラメータゼロ
要点：印は「足す」のではなく「回す」。角度は「並べる」のではなく「単体の頂点に置く」
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/PEXQYP41JX.jpg)

①＋②：同じ attention 層に重なる2つの工程
• 同じ self-attention 層の中で、役割の違う2つの工程が重なっている
– ② Simplex RoPE ＝ 宛先：各 token に「誰のものか」の回転位相を刻む
– ① Hub マスク ＝ 配線：「誰が誰を見られるか」を決める（自分＋Hub の
み、agent 直結は ✕）
• 2つは直交している
– 同じ q·k スコア計算に作用するが、片方を入れ替えてももう片方は変更不
要
– → Table 2 で別々に ablation できる理由もこれ
• Hub token の agent 帯域は恒等回転（位相なし）
– どの agent との位相差も同じ → 全員に中立な「公用の黒板」であること
の幾何的保証
図：論文 Fig.2 より
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/3EK93DZMED.jpg)

アクション注入とストリーミング推論
• アクションエンコーダ（全員で共有）
– ゲーム内アクション：23次元の離散キー入力 + 2次元の連続カメラ操作（計25フィールド／フレーム）
– 層ごとに射影したアクション特徴を、該当エージェント・フレームの全空間トークンへバイアス加算
– エンコーダ共有 → 同じアクションは誰が出しても同じ表現（対称性の維持）
• ブロック因果生成（Diffusion Forcing / Self-Forcing 系）
– 時間ブロックごとに独立なノイズレベル、各クエリは現在以前のブロックのみ参照
• KVキャッシュの構造
– エージェント別キャッシュ + hub共有キャッシュ → キャッシュ利用時も情報経路は hub 経由のみ
– 直近24潜在フレームの局所 attention 窓 → キャッシュ量が生成長と独立
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/L73WGRD275.jpg)

学習戦略：3段階パイプライン（この分野の標準レシピ）
Stage 1｜双方向教師
dense attention・全コンテキスト
品質の上限を担う
Stage 2｜因果学生
Stage 3｜条件付きDMD蒸留
ブロック因果+SHA
完全な多段拡散として学習
Self-Forcing流・4ステップ
自己rolloutでKVに書込み
• 教師は学習時のみ使用：時間・エージェント方向の完全な可視性で条件付き分布を高品質にモデル化
• 因果学生は「ウォームアップ」でなく完全な多段拡散モデルとして学習 → 蒸留の安定した出発点
• 蒸留は条件付き：初期観測とアクションを教師・学生の双方に与え、アクション応答性と初期状態の保持を担保
• 結果：24 FPS のストリーミング推論。CFGなしの方が高精度という報告も興味深い
モデル変種
FVD ↓
FID ↓
PSNR ↑
双方向教師
227.3
31.0
27.7
因果学生（多段）
266.4
34.4
26.2
蒸留後（4ステップ）
239.7
30.9
26.8
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/87DK1YP6JG.jpg)

主結果：ベースライン比較（FVD ↓）
• 比較対象：Frame concat（Multiverse流・複数視点を1本のストリームに統合）／ Solaris（dense attention+スロットID）
• 5つの評価プロトコル：記憶・接地・移動・建築・視点間一貫性
手法
Memory
Grounding
Movement
Building
Consistency
Frame concat
450.6
528.3
556.9
551.8
576.0
Solaris
333.8
301.9
311.1
448.6
443.1
γ-World（提案）
184.1
199.3
191.5
264.5
280.0
• 全プロトコルで大幅改善。特に Consistency は 443.1 → 280.0（FIDも 94.8 → 46.9 と同傾向）
• 解釈：視点を1本に潰す（Frame concat）のでも、全対全に絡めて固定IDで区別する（Solaris）のでもなく、「独立だが結合した
交換可能な実体」として扱う設計の効果
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/VJPKQ61ZE8.jpg)

Ablation：各設計の寄与
構成
ID符号化
相互作用
FVD ↓
Hub数 K
FVD ↓
空間連結
なし
dense
312.4
1
250.9
系列連結
なし
dense
285.6
8
223.4
系列連結
View埋め込み
dense
256.3
32
221.8
系列連結
Simplex
dense
228.5
128
220.5
系列連結（完全版）
Simplex
Hub
223.4
• 空間連結→系列連結：視点ごとの解像度を固定でき、人数可変と相性が良い
• View埋め込み → Simplex：FVD 256.3 → 228.5。順序を特権化しない識別の効果
• dense attention → Hub attention：品質ほぼ同等（228.5 → 223.4）のまま計算量を線形化
• Hub数は K=8 以降ほぼ飽和 → エージェント間通信は「狭帯域チャネル」で十分という示唆
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/2EVV53YMEQ.jpg)

効率とスケーラビリティ：2人学習 → 4人ゼロショット
エージェント数
self-attentionレイテンシ（dense / Hub）
self-attentionFLOPs（dense / Hub）
2
2.5 ms / 2.8 ms
477.8 G / 245.3 G
4
5.1 ms / 3.2 ms
1.9 T / 490.5 G
8
17.6 ms / 4.5 ms
7.6 T / 981.0 G
• dense attentionは2乗、Hub attentionは線形で増加 → 8人時点でレイテンシ約4倍・FLOPs約8倍の差
• ゼロショット人数汎化：2人データのみで学習したモデルが、アーキテクチャ変更なしに4人の同期ロールアウトを生成（Fig 5）
– Simplex符号化（固定スロットIDなし）と Hub通信（全対全に依存しない）の合わせ技で実現
• ただし注意：4人汎化の根拠は定性評価のみ。Table 1 に人数別の分解はなく、定量的なスケーリング曲線は未提示。プール V=4
が現チェックポイントの上限
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/57GL639XEL.jpg)

定性結果と実世界への拡張
• 2人相互作用（Minecraft）
– 一方のエージェントのアクションが、相手の視野内の観測に反映される
– 相手が視野外に出ても物体・エージェントの接地（grounding）を維持
– → 各視点の独立生成ではなく、共有された潜在世界状態を追跡していることを示唆
• 2人学習 → 4人ロールアウト（Fig 5）
– 同一モデル・同一重みで4視点の同期ストリームを生成
• 実世界ロボティクスへの拡張（RealOmin-Open）
– 左右のロボットアームを「2つのエージェント」として扱い、双腕協調の将来フレームを予測
– ゲーム内プレイヤーと物理世界のロボットを同一の定式化で扱える汎用性
• 動画デモ：research.nvidia.com/labs/sil/projects/gamma-world/（発表ではここで再生）
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/4EQY45W5JP.jpg)

まとめ・限界・所感
• 貢献のまとめ
– ① Sparse Hub Attention：エージェント間通信コストを2乗→線形に削減
– ② Simplex Rotary Agent Encoding：パラメータフリーで置換対称なエージェント識別
– 学習：標準の3段階レシピ（教師→因果化→蒸留）を①②と両立させ、24 FPS のアクション応答生成を実証
– 総括：「2人ならできる」から「原理的にスケールする」への一歩
• 著者が認める限界
– 評価がゲーム環境とロボット例に限定・大人数にはより大きい回転帯域か階層的グループ化が必要
– 3D幾何・物理制約を明示的に課していない → 長尺ロールアウトで不整合が蓄積しうる
• 発表者の所感（議論ポイント）
– 視点間一貫性の評価が FVD/FID のみで、幾何的な整合性指標（再投影誤差等）がない
– 4人へのゼロショット汎化は定性評価どまり：人数を横軸にした定量的な劣化曲線が今後必要
• arXiv:2605.28816 ／ github.com/nv-tlabs/Gamma-World ／ project page に動画デモ多数
17