要約: Formal Approaches in Categorization: Chapter.5 Semantics without categorization

Formal Approaches in Categorization Chapter.5 Semantics without categorization @lamrongol

Semantic Memory （意味的なつながりを持った記憶） • 人間がバナナを見た時…… – 簡単にむける皮を持ち、中には柔らかい身があり、 食べることができてどんな味か、ということが即座 に想起される • 認知心理学ではこのプロセスを解明することが 主要な研究となっている • カテゴリー仮説 – カテゴライズすることで関連する情報を想起しやす くしている（例：バナナ→食べ物） Rosch(1978) – 「仮説」だと認識されないほど定番となっている

カテゴリ仮説をめぐる様々な議論

多カテゴリ表現 • 大抵のものは多くのカテゴリに属している – 鶏→動物、鳥、家禽 – ブルドーザー→車両、建設機材、人工物 • これらのカテゴリは相反することも多い – 鶏は動物だが、通常動物は飛べないとみなされる、 しかし鳥でもあり、鳥は飛べるとみなされる。だ が、鶏というカテゴリで考えるとやはり飛べない • 相矛盾するカテゴリに適切に割り当てられる ことを可能にする表現構造は何か？

Category coherence • システム（脳）はどうやって有用なカテ ゴライズと役に立たないカテゴライズを 区別しているのか？ – 「犬」「猫」「鳥」 – 「青かオレンジのもの」「角があるもの」

発達過程におけるカテゴリの認識 • 荒い分類→細かい分類に進む例 – 子供はまず一番大まかな区分（動物と植物など） から段々細かい区別ができるようになる – Semantic Dementia(SD)の患者は、まず一番細かい 区別（例：カナリアとコマドリ）ができなくなり、 だんだんとおおまかな区別がつかなくなっていく • 子供は中間のカテゴリの言語から覚える – 例：「コマドリ」「カナリア」や「動物」「車 両」などではなく「魚」「鳥」から

Domain依存の推論パターン • 属性の種類により異なる一般化が行われる – 「コマドリは体内に網（器官）を持つ」 →鳥全体に一般化される – 「コマドリは巣の中で暮らすのを好む」 →小さい、木に巣をつくる鳥にしか一般化されない – 子供はおもちゃを色よりも形で区別するが、食べ物で は逆になる • 卵が先か鶏が先か – モノのどの属性を重視すべきかを知らなければカテゴ ライズできないが、それを知るにはまずカテゴライズ しなければいけない

PDP(PARALLEL DISTRIBUTED PROCESSING) MODEL

PDPモデルのユニット • ニューラルネットワークにより学習を行う 入力 荷重 w𝟏 w𝟐 出力 w𝟑 • 現在の出力と正解出力の誤差から重みを再 計算し、学習を行う

Overview Item Representation Hidden Attribute Oak Sing Canary grow plant Can Relation move has Swim is

各部位の詳細(1/2) • 外界の状況で決まるユニット – Item:現実のモノ – Relation:モノのどの属性が対象になっている か • ‘can’ できること • ‘has’ 構成部分 • ‘is’ 外見

各部位の詳細(2/2) • 内部ユニット – Input, Relationからの入力で出力が決まる • 非線形で緩やかに変化するため、段階的学習が可 能 – Representation：文脈（Relation)に依存しない モノの内部表現 – Hidden:文脈を考慮した内部表現 – Attribute:意味的なつながりとして想起される 属性

Overview（再掲） Item Representation Hidden Attribute Oak Sing Canary grow plant Can Relation move has Swim is

PDPにおけるカテゴリ表現 • Representation のそれぞれを一つの次元と みなすと、モノを多次元空間にプロット できる – R1:0.7, R2:0.3 R1→x R2→yとすると、 • 直接的にカテゴリに属し ているわけではないので、 「どこに属しているか」 という問題は生じない コマドリ カナリア バラ デイジー マンボウ 鮭

Category Coherent • 有用なカテゴリではその構成要素が多く の共通した属性を持つ – 「犬」「猫」 → 共通要素大 – 「青かオレンジのもの」→共通要素小 • 有用なカテゴリは急速に学習が行われる ため強化されるが、役に立たないカテゴ リは縮小していく

学習例 • 「犬」（に対応する内部表現）からの入 力は属性を導き出すのに役立つため重み が大きくなるが、「青かオレンジ」は重 みが小さくなる 入力 犬 青かオレンジ 荷重 w𝟏 w𝟐 四本足 ワンワン

発達過程におけるカテゴリの認 識 • 「カナリア」「コマドリ」のような細か い区別はごく限られた例の場合しか学習 されない • 「動物」「植物」のようなおおまかな区 別は、多くのケースで学習されるため、 急速に学習が進む • また、おおまかな区別は違いが大きいた め、失われる速度もゆっくりになる

なぜ名前はbacic levelから覚えるのか • 「動物」「鳥」「カナリア」では「鳥」から覚え る • 「鳥」と「動物」では – 「動物」は鳥以外の魚などにも働くが、「鳥」の方は 鳥にしか働かないため、より強化されやすい • 「鳥」と「カナリア」では – 「カナリア」はカナリアを強化する一方、コマドリな どそれ以外の似た鳥は弱くする。 – だが、コマドリとカナリアが十分に分化されてない場 合、干渉し合い、カナリアに対する学習も弱くなる

Domain依存の推論パターン • なぜ生体器官の「網」と実際の「網」で は推論パターンが異なるのか • PDPモデルでは、Relation（どのような文 脈か）も考慮されるため カナリア バラ コマドリ ペンギン デイジー カナリア ひまわり バラひまわり コマドリ ペンギン デイジー Can Is

その他のモデルに対する優位性 • その他のモデル – Examplar theories • 過去の出来事から確率密度関数を推定し、尤度を最大化 する一般化を行う – Parametric Approach • 一つ一つがカテゴリを表しているガウス分布の混合で表 現 – Structured Probabilistic Model • すべての可能なカテゴリ・グラフに対し、確率モデルを 生成 • PDPではいかなる仮定も莫大な計算も必要ない

まとめ • Semantic Memory(意味的な関連を持った記 憶）は認知心理学の主要な研究テーマ • カテゴリ仮説が定説になっている • しかし、カテゴリ仮説では解決できない 問題も多い • PDPモデルでは、初期状態などの仮定を必 要とせず、諸問題を解決できる