【DL輪読会】Humans and transformer LMs: Abstraction drives language learning

DEEP LEARNING JP Humans and transformer LMs: Abstraction drives language learning [DL Papers] Presenter: Masaki Sashida, Matsuo-Iwasawa lab, M2 http://deeplearning.jp/

• http://deeplearning.jp/

書誌情報 紹介論文 ✓ Humans and transformer LMs: Abstraction drives language learning ✓ EACL 2026 (Long Papers) pp.752-765 ／ Jasper Jian, Christopher D. Manning（Stanford） 一言で ✓ LMが訓練を通じて言語カテゴリ（動詞クラス・統語構造）をどう獲得するかを学習軌跡から分析 ✓ 人間の獲得理論「抽象優先 vs 事例優先」と対応づけ、次トークン分布のダイバージェンスを測定 ✓ 結論：GPT-2は、クラス（抽象）を個別語より先に学ぶ＝抽象優先のバイアスを持つ ※図は出典記載のないものは本論文（EACL 2026, CC BY 4.0）から引用

背景ー人間の言語獲得：2つの立場ー 言語能力の核は「カテゴリ化（範疇化）」 ✓ 構文（二重目的語・補文をとる動詞 等）は個別語でなく語のクラスへの一般化 ✓ 獲得様式について、対立する2つの説がある（下表） 観点 抽象優先 (abstraction-first) 事例優先 (exemplar-first) 学習の起点 入力を抽象的素性表現に結びつける 観測した具体例(exemplar)を記憶 抽象の獲得 早期から成立 反復・類推で徐々に立ち上がる 代表的論者 Pinker, Gleitman, Fisher Tomasello, Ambridge, Bybee 区別の鍵 クラス挙動が先に出る 語彙個別の挙動が先に出る （注）論文中での解釈

目的（研究課題） ✓ LMは言語カテゴリを「抽象優先」「事例優先」のどちらの様式で学ぶのか？ ✓ クラス（抽象）レベルの挙動と語彙個別の挙動は、訓練のいつ現れるか？ ✓ その獲得順序は、人間の子どもの言語発達と対応するか？

4つの動詞クラス ✓ 「クラスの知識(抽象)」と「動詞個別の知識(事例)」を4つの動詞クラスで判定 ✓ クラスの知識(抽象) = 同じクラスの動詞を同じように扱うこと ✓ 例:give も sell も「to の先には受け手(人)が来る」と予測する ✓ 動詞個別の知識(事例) = クラス内での動詞の使い分け ✓ 例:同じ to-与格でも、give と sell では続きやすい名詞が少しずつ違う ✓ 前置詞の影響を排除するため、前置詞を共有するペアで比較 クラス 動詞の例 前置詞 項の意味 (i) to-与格 (to-Dative) give, sell, grant (n=35) to 受け手 (recipient) (ii) 移動 (Motion) go, walk, flee (n=36) to 目標位置 (goal) (iii) 相互 (Reciprocal) speak, meet, talk (n=16) with 相互対象 (iv) spray-load spray, load, smear (n=16) with 物質 (substance)

手法①ー検証パラダイムと動詞分布ー 次トークン分布で「項の予測」を捉える ✓ フレーム “… VERB … PREP the __” の下線位置の次トークン分布を取得 ✓ 動詞 v を含む N 個の文で空欄の予測分布を測り、それを平均して『動詞 v の予測分布』とする

手法②ー Jensen-Shannon ダイバージェンスー 動詞の予測分布の違いを 𝐷𝐽𝑆 で測る ✓ 𝐷𝐽𝑆 は対称・有界（0〜log2）・滑らかで、増加をそのまま「区別が立った瞬間」と読める ✓ 正解の名詞集合を決めなくても、分布の差だけで区別の有無を測れる → 𝐷𝐽𝑆 >0 が、両者を区別する必要条件

手法③ー2つの指標（項目 vs クラス）ー 同クラス内 と 異クラス間 の 𝐷𝐽𝑆 を測定 指標 定義 増加が意味すること 項目(item)学習 同クラス内 D_JS の平均（U_A） クラス共通でない動詞個別の特異性 を学んだ クラス学習 片側Mann-Whitney検定で U_B>U_A が有意 クラス（抽象）を区別できている モデル・設定 ✓ GPT-2 small（12層／12ヘッド、デコーダのみ） ✓ OpenWebText、約450チェックポイント／ 40万ステップ、バッチ32 ✓ 3シードで再現確認 クラス 動詞の例 (i) to-与格 (to-Dative) give, sell, grant (n=35) (ii) 移動 (Motion) go, walk, flee (n=36) (iii) 相互 (Reciprocal) speak, meet, talk (n=16) (iv) spray-load spray, load, smear (n=16)

実験1ー結果：抽象が先に立ち上がるー ✓ クラスの区別が、同クラス内の個別差より 約50ステップ先に出現（p<0.001） ✓ 同クラス内は訓練終盤まで分岐し続ける → 個別学習はゆっくり継続 → LMは「抽象優先」のバイアスを持つ

実験2ー統語現象でも抽象駆動か？ー ✓ 意味でなく純粋な文法ルールでも「クラスが先」に学ばれるか? ✓ 文ペアの空欄での予測の差 （𝐷𝐽𝑆 ）を図ることにより文法ルールを学んでいるか判断 内容 例 件数 自動詞・他動詞の区別 The boy hadn't hit _ The boy hadn't slept _ n=1000 関係節 The friend [ that Mary talked to ] _ The friend thinks [ that Mary talked to _ ] to-与格824 / 相互288

結果ー抽象は逐次的に立ち上がるー ✓ 獲得順序が3シードで一貫。学習開始前は平均 𝐷𝐽𝑆 ≒0（＝徐々の記憶では駆動さ れない） ✓ 順序は「単純な抽象が先」という子どもの言語発達の予測と整合

結論 ✓ 含意：LMは人間の言語獲得モデルの「存在証明(existence proof)」になりうる ✓ ただしLMの抽象は生得的素性でなく、データの分布から学習される点が人間と異 なる 研究課題 回答 様式は抽象優先か事例優先か 抽象優先（クラスが個別語より先に立ち上がる） クラス挙動と個別挙動はいつ出るか クラスが先。抽象は急峻かつ逐次的に出現 人間の言語発達と対応するか 対応する（単純な抽象が先という順序が一致）

感想 面白かった点 ✓ 定義が難しい言語学の議論を（議論はあるものの）定式化して実験に持ち込んだ ✓ 𝐷𝐽𝑆 を使うことで「抽象 vs 事例」の獲得を操作的に切り分けた 疑問・議論したい点 ✓ 共起のしやすさで分類している可能性を否定できない ✓ 𝐷𝐽𝑆 が０より大きくなるのは抽象化の必要条件であり、十分条件ではない ✓ 二者択一の話でもない