Language Models Represent Space and Time

DEEP LEARNING JP [DL Papers] Language Models Represent Space and Time Chikato Shoji http://deeplearning.jp/

• http://deeplearning.jp/

目次 1. 書誌情報 2. 概要 3. 研究背景 4. データセット 5. 実験 i. プロービング ii. 汎化性能の検証 6. 空間・時間ニューロン 7. まとめ・所感 2

書誌情報 • タイトル • Language Models Represent Space and Time • 著者・所属 • Wes Gurnee, Max Tegmark • MIT • 学会 • ICLR 2024 poster • https://openreview.net/forum?id=jE8xbmvFin • arXiv • https://arxiv.org/abs/2310.02207 • 選定理由 • 世界モデルにおける時空間表現に興味があったため 3

• https://openreview.net/forum?id=jE8xbmvFin
• https://arxiv.org/abs/2310.02207

概要 • LLMが空間と時間に関する線形表現を学習 していることを示唆 • 時空間に関する表現は 1. 異なるスケールに対して一貫性がある 2. 都市、ランドマークなど異なる種類のエンティ ティ間で統一化されている 3. プロンプトのバリエーションに対して堅牢 • 座標をエンコードする空間ニューロンと 時間ニューロンが存在 場所(上)またはイベント(下)に対し、 Llama-2-70bの第50層を線形プローブに投影 4

研究背景 • LLMに関する仮説 A) テキストとしての相関関係を学習したにすぎず、モデルとしての一貫性やデータが生成されるプ ロセスの"理解"は欠けている B) データを圧縮する過程で、データの根底にある生成プロセスについて、コンパクトかつ一貫性の ある解釈可能なモデルを学習している = 世界モデル • LLMが文字通り“世界”モデルを形成するか • 実際の世界地図および出来事の時系列の抽出を試みる • これ自体は世界モデルを構成するための一つの要素にすぎない 5

データセット • 空間・時間それぞれについて、複数のスケールでデータセットを用意 • 場所・出来事の名称 • それに対応する空間・時間座標 6

実験手法 – プロービング • Llama-2もしくはPythiaのモデルファミリーを利用 • 場所・出来事の名前を入力し、内部の層で活性化 • モデル/層を固定して、線形回帰プローブを学習（リッジ回帰） ෡ = arg W min 𝑌 − 𝐴𝑊 • W 2 2 +𝜆 𝑊 2 2 = 𝐴𝑇 𝐴 + 𝜆𝐼 −1 𝑇 𝐴 𝑌 • 𝐴 : データセット(データ数×次元数) • 𝑌 : 目的変数(緯度経度もしくは時間座標) • プローブの性能をもって、モデルの内部表現を評価する • 層ごとの性能比較 → どの層で特徴が学習されたかの理解 7

結果 – プロービング 複数のスケールのデータセットに対し、一貫した傾向を示す • 初期の層で表現を構築し、 中間付近で頭打ちになる • サイズの大きなモデルの 優位性 8

結果 – プロービング • 非線形MLPプローブとの性能比較 • 線形プローブでも表現力がほとんど落ちない • 時空間情報が線形(か、少なくとも線形に復号可能な形式)で表現されていることの根拠 9

実験手法 – 汎化性能の検証 • プロービングの課題 • プローブ自体が特徴量の線形結合を学習している可能性がある • すなわち、モデルが実際に線形表現を使用しているのか断定できない • 反例：モデルが“ある国に含まれるか否か”というバイナリ特徴量のみを表現している • これに直交する特徴量を緯度で重みづけ平均することで、場所データを国の重心の緯度に写すプローブが作れる • この可能性をできるだけ排除したい • データセットをブロックに分割し、各データブロックをhold-outで学習 • World: 国ごと、USA: 州ごと、Headlines: 年ごと など 10

結果 – 汎化性能の検証 特に空間データセットにおいて汎化性能が低下するが、ランダムと比較して明らかに優位 11

結果 – 汎化性能の検証 プローブの学習 nominal 方法 誤差 held out 通常のtrain-test- ブロックごとにholdsplitで学習 outで学習 --- 原点からの絶対 プロットの解釈 位置を反映 nominalより増大したが ランダムでの誤差より 優れる 原点からの相対位置を 反映（ブロックによっ てスケールは異なる） 12

結果 – 汎化性能の検証 以下を示唆する弱い根拠となる プローブの学習 nominal held out • プローブはモデルの表現を抽出する • プローブはモデル内の座標から人間 方法 誤差 通常のtrain-test- ブロックごとにholdsplitで学習 outで学習 --- 原点からの絶対 プロットの解釈 位置を反映 nominalより増大したが ランダムでの誤差より 優れる の座標への変換を学習する • "モデルは国への所属を表現するに すぎない"という仮説を完全に棄却 できるわけではない 原点からの相対位置を 反映（ブロックによっ てスケールは異なる） 13

空間・時間ニューロン 空間・時間座標に対して敏感に反応するニューロンが存在 • ニューロン自体が特徴プローブ の役割を果たしているといえる • モデルが空間・時間的表現を利 用していることの根拠 14

まとめ・所感 • LLMが空間と時間に関する線形表現を学習していることを示唆 • 時空間に関する表現は 1. 異なるスケールに対して一貫性がある 2. 都市、ランドマークなど異なる種類のエンティティ間で統一化されている 3. プロンプトのバリエーションに対して堅牢 • 座標をエンコードする空間ニューロンと時間ニューロンが存在 • 連続変数である座標について、線形表現が存在する示唆を与えた貢献が認められる • プロービングの課題への対処も興味深い • 空間・時間ニューロンのような強い説得力をもつ根拠の補強を期待したい 15