---
title: 【DL輪読会】Humans and transformer LMs: Abstraction drives language learning
tags: 
author: [Deep Learning JP](https://docswell.com/user/DeepLearning2023)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/KJ4WQ9KV71.jpg?width=480
description: 【DL輪読会】Humans and transformer LMs: Abstraction drives language learning by Deep Learning JP
published: July 23, 26
canonical: https://docswell.com/s/DeepLearning2023/KY8G99-2026-07-28-102750
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/KJ4WQ9KV71.jpg)

DEEP LEARNING JP Humans and transformer LMs: Abstraction drives
language learning
[DL Papers]
Presenter: Masaki Sashida, Matsuo-Iwasawa lab, M2
http://deeplearning.jp/


# Page. 2

![Page Image](https://bcdn.docswell.com/page/LE1YPKX47G.jpg)

書誌情報
紹介論文
✓ Humans and transformer LMs: Abstraction drives language learning
✓ EACL 2026 (Long Papers) pp.752-765 ／ Jasper Jian, Christopher D. Manning（Stanford）
一言で
✓ LMが訓練を通じて言語カテゴリ（動詞クラス・統語構造）をどう獲得するかを学習軌跡から分析
✓ 人間の獲得理論「抽象優先 vs 事例優先」と対応づけ、次トークン分布のダイバージェンスを測定
✓ 結論：GPT-2は、クラス（抽象）を個別語より先に学ぶ＝抽象優先のバイアスを持つ
※図は出典記載のないものは本論文（EACL 2026, CC BY 4.0）から引用


# Page. 3

![Page Image](https://bcdn.docswell.com/page/GEWG2DNZJ2.jpg)

背景ー人間の言語獲得：2つの立場ー
言語能力の核は「カテゴリ化（範疇化）」
✓ 構文（二重目的語・補文をとる動詞 等）は個別語でなく語のクラスへの一般化
✓ 獲得様式について、対立する2つの説がある（下表）
観点
抽象優先 (abstraction-first)
事例優先 (exemplar-first)
学習の起点
入力を抽象的素性表現に結びつける
観測した具体例(exemplar)を記憶
抽象の獲得
早期から成立
反復・類推で徐々に立ち上がる
代表的論者
Pinker, Gleitman, Fisher
Tomasello, Ambridge, Bybee
区別の鍵
クラス挙動が先に出る
語彙個別の挙動が先に出る
（注）論文中での解釈


# Page. 4

![Page Image](https://bcdn.docswell.com/page/47ZLDG3LJ3.jpg)

目的（研究課題）
✓ LMは言語カテゴリを「抽象優先」「事例優先」のどちらの様式で学ぶのか？
✓ クラス（抽象）レベルの挙動と語彙個別の挙動は、訓練のいつ現れるか？
✓ その獲得順序は、人間の子どもの言語発達と対応するか？


# Page. 5

![Page Image](https://bcdn.docswell.com/page/YJ6W1YXMJV.jpg)

4つの動詞クラス
✓ 「クラスの知識(抽象)」と「動詞個別の知識(事例)」を4つの動詞クラスで判定
✓ クラスの知識(抽象) = 同じクラスの動詞を同じように扱うこと
✓ 例:give も sell も「to の先には受け手(人)が来る」と予測する
✓ 動詞個別の知識(事例) = クラス内での動詞の使い分け
✓ 例:同じ to-与格でも、give と sell では続きやすい名詞が少しずつ違う
✓ 前置詞の影響を排除するため、前置詞を共有するペアで比較
クラス
動詞の例
前置詞
項の意味
(i) to-与格 (to-Dative)
give, sell, grant (n=35)
to
受け手 (recipient)
(ii) 移動 (Motion)
go, walk, flee (n=36)
to
目標位置 (goal)
(iii) 相互 (Reciprocal)
speak, meet, talk (n=16)
with
相互対象
(iv) spray-load
spray, load, smear (n=16)
with
物質 (substance)


# Page. 6

![Page Image](https://bcdn.docswell.com/page/GJ5M4GXQJ4.jpg)

手法①ー検証パラダイムと動詞分布ー
次トークン分布で「項の予測」を捉える
✓ フレーム “… VERB … PREP the __” の下線位置の次トークン分布を取得
✓ 動詞 v を含む N 個の文で空欄の予測分布を測り、それを平均して『動詞 v の予測分布』とする


# Page. 7

![Page Image](https://bcdn.docswell.com/page/LE3WGRXZE5.jpg)

手法②ー Jensen-Shannon ダイバージェンスー
動詞の予測分布の違いを 𝐷𝐽𝑆 で測る
✓ 𝐷𝐽𝑆 は対称・有界（0〜log2）・滑らかで、増加をそのまま「区別が立った瞬間」と読める
✓ 正解の名詞集合を決めなくても、分布の差だけで区別の有無を測れる
→ 𝐷𝐽𝑆 >0 が、両者を区別する必要条件


# Page. 8

![Page Image](https://bcdn.docswell.com/page/8EDK1Y247G.jpg)

手法③ー2つの指標（項目 vs クラス）ー
同クラス内 と 異クラス間 の 𝐷𝐽𝑆 を測定
指標
定義
増加が意味すること
項目(item)学習
同クラス内 D_JS の平均（U_A）
クラス共通でない動詞個別の特異性
を学んだ
クラス学習
片側Mann-Whitney検定で U_B>U_A が有意
クラス（抽象）を区別できている
モデル・設定
✓ GPT-2 small（12層／12ヘッド、デコーダのみ）
✓ OpenWebText、約450チェックポイント／
40万ステップ、バッチ32
✓ 3シードで再現確認
クラス
動詞の例
(i) to-与格 (to-Dative)
give, sell, grant (n=35)
(ii) 移動 (Motion)
go, walk, flee (n=36)
(iii) 相互 (Reciprocal)
speak, meet, talk (n=16)
(iv) spray-load
spray, load, smear (n=16)


# Page. 9

![Page Image](https://bcdn.docswell.com/page/V7PKQ61VJ8.jpg)

実験1ー結果：抽象が先に立ち上がるー
✓ クラスの区別が、同クラス内の個別差より 約50ステップ先に出現（p<0.001）
✓ 同クラス内は訓練終盤まで分岐し続ける → 個別学習はゆっくり継続
→ LMは「抽象優先」のバイアスを持つ


# Page. 10

![Page Image](https://bcdn.docswell.com/page/2JVV53YRJQ.jpg)

実験2ー統語現象でも抽象駆動か？ー
✓ 意味でなく純粋な文法ルールでも「クラスが先」に学ばれるか?
✓ 文ペアの空欄での予測の差 （𝐷𝐽𝑆 ）を図ることにより文法ルールを学んでいるか判断
内容
例
件数
自動詞・他動詞の区別
The boy hadn't hit _
The boy hadn't slept _
n=1000
関係節
The friend [ that Mary talked to ] _
The friend thinks [ that Mary talked to _ ]
to-与格824 /
相互288


# Page. 11

![Page Image](https://bcdn.docswell.com/page/5EGL6396JL.jpg)

結果ー抽象は逐次的に立ち上がるー
✓ 獲得順序が3シードで一貫。学習開始前は平均 𝐷𝐽𝑆 ≒0（＝徐々の記憶では駆動さ
れない）
✓ 順序は「単純な抽象が先」という子どもの言語発達の予測と整合


# Page. 12

![Page Image](https://bcdn.docswell.com/page/4JQY45W27P.jpg)

結論
✓ 含意：LMは人間の言語獲得モデルの「存在証明(existence proof)」になりうる
✓ ただしLMの抽象は生得的素性でなく、データの分布から学習される点が人間と異
なる
研究課題
回答
様式は抽象優先か事例優先か
抽象優先（クラスが個別語より先に立ち上がる）
クラス挙動と個別挙動はいつ出るか
クラスが先。抽象は急峻かつ逐次的に出現
人間の言語発達と対応するか
対応する（単純な抽象が先という順序が一致）


# Page. 13

![Page Image](https://bcdn.docswell.com/page/K74WQ9KPE1.jpg)

感想
面白かった点
✓ 定義が難しい言語学の議論を（議論はあるものの）定式化して実験に持ち込んだ
✓ 𝐷𝐽𝑆 を使うことで「抽象 vs 事例」の獲得を操作的に切り分けた
疑問・議論したい点
✓ 共起のしやすさで分類している可能性を否定できない
✓ 𝐷𝐽𝑆 が０より大きくなるのは抽象化の必要条件であり、十分条件ではない
✓ 二者択一の話でもない