【DL輪読会】Learning Latent Action World Models In The Wild

DEEP LEARNING JP [DL Papers] Learning Latent Action World Models In The Wild Shunsei Suzuki, Matsuo Iwasawa Lab ,B4 http://deeplearning.jp/

• http://deeplearning.jp/

書誌情報 • 「Learning Latent Action World Models In The Wild」 • 著者：Q. Garrido, T. Nagarajan, B. Terver, N. Ballas, Y. LeCun, M. Rabbat – 所属：FAIR at Meta / Inria / NYU • 学会：ICML 2026 • 概要 – 行動ラベルなしの in-the-wild 動画のみから、潜在行動で条件付けられた世界モデルを学習できるこ とを実証 – 連続かつ制約された潜在行動が複雑な行動を捉え、ベクトル量子化は適応に苦しむと主張 – 学習した潜在行動を汎用インターフェースとして計画タスク（ロボット操作・ナビ）に活用 1

背景：世界モデルと行動ラベルのボトルネック • 推論・計画できるエージェントには「自らの行動の帰結」を予測する 世界モデルが必要 • 行動ラベルがあれば世界モデルの研究は豊富（Dreamer, TD-MPCなど） • 多くの動画データには行動ラベルがついていない – Web上の動画の大多数はラベルなし・多様な身体性を含む →動画のみから行動空間を学ぶ 潜在行動モデル (LAM) の必要性 2

背景：潜在行動モデル (LAM) • 行動アノテーションも既知の身体性もなしに、動画のみから行動空間を発見 • 2つの構成要素を同時学習 – 潜在行動モデル (逆動力学モデル)：過去と未来の観測から差分を説明する潜在行動 z を予測 – 世界モデル(順モデル)：過去と z から未来を予測 • 課題：既存のIDMはタスクやエンボディメントに特化していて汎用的でない – ビデオゲーム・シミュレータ環境・実世界操作における学習により、単一のエンボディメントに特化 • 本研究の狙い： 大規模なin-the-wild動画で LAM を成立させ、その課題と可能性を検討 3

背景：In-the-wild 動画がもたらす3つの課題 1. 行動のバリエーション -車が入ってくる・人が踊る・指がコードを押さえ る等、既存データの上位集合となる多様な行動を 含む 2. 環境ノイズ -木の葉の揺れのような外因性ノイズを行動として 誤って捉えてしまうリスク 3. 共通の身体性の欠如 -動画間で一貫したエンボディメントが存在せず、 潜在行動の転移・下流タスク応用が難しい いずれも「明確な行動空間を持つ環境」を 前提とした既存研究では現れなかった課題 4

本研究の貢献 • 情報量の制御法を in-the-wild 動画で比較検討 – スパース／ノイズ付き潜在行動は複雑な行動を捉える一方、離散（量子化）は適応に苦しむ • 共通身体性の欠如は潜在行動の学習を妨げない – 潜在行動はより空間的に局在した（カメラ相対的な）変換を符号化する • 学習した行動空間の一般性を実証 – 物体間での運動転移や「人がフレームに入る」等の行動転移が可能 • 潜在行動を普遍的インターフェースとして計画に活用 – 小さなコントローラで既知行動→潜在行動を写像し、行動ラベル付きモデルに近い計画性能を達成 5

問題設定：潜在行動世界モデル • 世界モデルと潜在行動モデルを同時に学習させる – z_t：シーンで起きている「行動」として解釈できる潜在変数 – 順モデル(世界モデル) p を予測損失で学習 • 課題：z が次状態のコピーをしてしまい意味のある表現が得られない → 潜在行動の情報量を制限し、複雑な行動とノイズのバランスを取る • 本研究では以下の3種類の正則化を比較。 • Sparsity • Noise addition • Discretization 6

3種類の正則化 1. Sparsity - 潜在行動の L1 ノルムを小さく。自明解を防ぐため VCM（分散・共分散・平均）正則化を併用 2. Noise addition -潜在行動の分布を標準正規分布に近づける。 3. Discretization - ベクトル量子化 (VQ)で潜在行動を離散的な コードブックに制限する。 7

検証項目と実験設定 検証項目 実験設定 • 各正則化の性能比較 • エンコーダ：V-JEPA 2-L(凍結)でフレーム を表現 s に符号化 • どんなアクションを学んでいるのか？ • 次状態を丸暗記していないか • 転移可能性の分析 • エンボディメントの分析 • プランニングへの利用 • コントローラの学習 • プランニング性能検証 • スケーリングの検証 • 世界モデル p：RoPE 付き ViT-L、AdaLNzero でフレーム単位に z 条件付け • 潜在行動 z：128次元の連続ベクトルを基本 とする • データ：YoutubeTemporal-1B、4fps・16 フレームで1クリップ - 総サンプル数: 30,000 iter × 1024 batch = 約3,072万 クリップ • 最適化：Muon (lr=0.02) + AdamW – 可視化用にフレーム因果的な動画デコーダも別途学習 8

各正則化の性能比較 • IDM で軌道を展開したときの1ステップ予測誤差 ＝潜在行動の「容量」と定義 • 正則化以外の条件を全て固定しているため、予測 誤差の差はz_t経由で流れた情報量の差に帰属する → 誤差低い→高容量 誤差高い→低容量 • Sparsity, Noise additionはハイパラの調整で容量 ＝予測誤差を調整できる • Discretization は容量調整が困難で誤差も高い • デコーダ出力による定性的な結果 • Sparsity, Noise additionは人の移動を予測できて いる一方、Discretizationのみ人が塊になってしま っている 要点 Discretizationは複雑な行動を捉えられない。Sparsity, Noise additionは容量次第でより複雑 な行動を捉える 9

次状態を丸暗記していないか • 動画末尾を人工的に繋ぎ替え、突発的なシーン 変化を作る • 予測誤差(LPIPS)の増加率を測定 • z が次フレームを完全に丸写ししていれば、たとえ 突発的なシーン変化でも誤差は上がらないはず。 • 容量に関わらずシーン変化で誤差が2倍以上に 増加 • どのモデルも次フレームのコピーによる「ズル」は していない。 • データセットの複雑さが次フレーム丸写しの自明解 の学習を難しくしていると考察 10

転移可能性の分析 • 動画Aで推論した潜在行動は動画Bで意味を持つか？ • 動画Aで推論した潜在行動を動画Bに条件づけてロールアウト →ロールアウトした動画から潜在行動を推論→得られた潜在 行動を動画Aに再適用 • Kinetics, RECON いずれも転移での誤差増加は軽微 • 容量が高いほど転移は悪化するが、それでも制約強版より高性能 • 定性結果 • 男性の運動を飛ぶボールに転移でき、再推論で元動画にも復元 • 未来リークが無いため、転移は次フレームのコピー由来ではない 11

エンボディメントの分析 • 局在化した移動行動を2人が映る動画に適用 • 元動画で歩いていた男性に最も近い人物だけが動き出す • 学習されるのは「どこで・何が」動くかという局所的な変換 • 共通の身体性が無いため、動画間で唯一共通するカメラに相対的な行動を学ぶ • 意味的に無関係な物体間でも運動を転移できる 12

コントローラの学習 • 実行動から潜在行動を予測する軽量モジュールを学習 • 学習された潜在行動はカメラ相対的なので、同じ 「右に動かせ」でもカメラの位置によってzが変わ ってしまう。 →行動に加えて過去フレームの表現も入力に • DROID, RECONで世界モデルの予測性能評価 • モデルはコントローラを用いて高品質な予測ができる • 一方で、潜在行動での条件付けでの予測誤差が一番小 さい(容量が大きい)条件がコントローラにおいて予測 誤差が最小とは限らない。 • 中程度の正則化の条件において予測誤差が最小。 • 単純な行動空間の場合、Discretizationによる正則化も 十分機能する。 13

プランニング性能検証 • DROIDでもRECONでも、Noise additionの正則化がプランニング性能が高い。 • 完全な教師なしでも専用モデルに迫れる(が、超えられてはいない)。 • LAM自体の学習の時にDROIDデータを混ぜると大幅に改善する。 • 10%混ぜるだけで Δxyz =0.09に改善 • DROID: アームを目標位置に動かす • CEMでプランニング • 評価指標: Δxyz (計画した移動と正解の移動のL1距離) • RECON: 目標画像に向かってカメラを移動 • CEMでプランニング • 評価指標: Relative Pose Error(計画軌道と正解軌道の位置・姿勢のずれ) 14

スケーリングの検証 • モデルサイズ・学習時間・データ量を増やすと IDM 予測は改善 • DROIDでの計画性能はより微妙 – 学習時間による改善は大きい。モデルサイズはNoise addition に主に効く。データ量には有意な傾向なし。 • 単純な行動の下流タスクではスケール効果が可視化されにくい可能性を考察。 15

まとめと限界 まとめ • 大規模 in-the-wild 自然動画から直接、効果的な潜在行動世界モデルを学習できることを実証 • 行動の複雑さ・環境ノイズ・共通身体性の欠如という課題に対処 – 連続潜在行動が複雑な行動に適応、Discretizationはこのスケールで苦戦 – 実用設定では未来リークは問題にならない – 潜在行動はカメラ基準で空間的に局在し、物体間の運動転移も可能 • 単純なコントローラで、ラベル付きベースラインと同等の計画性能を達成 限界 • 可変な潜在情報量 – 現状は静的係数。動画ごとの行動複雑さに応じて制約を調整すると較正が改善しうる • 潜在行動空間でのサンプリングと計画 – 潜在行動を直接サンプル・計画に使えれば品質をより正確に測れる（初期分析のみ） • 単一段階訓練 – 現状は凍結表現の上に学習。V-JEPA 2 事前学習へ潜在行動を統合し、エンコーダと世界モデルを同時学習する方向性 16

プランニング性能検証 17