【DL輪読会】Slot Abstractors: Toward Scalable Abstract Visual Reasoning

ICML2024特集 Slot Abstractors: Toward Scalable Abstract Visual Reasoning Haruo Hosoya (ATR / U-Tokyo) 1

書誌情報 • Mondal, S. S., Cohen, J. D., & Webb, T. W. (2024). Slot Abstractors: Toward Scalable Abstract Visual Reasoning. ICML. • http://arxiv.org/abs/2403.03458 2

• http://arxiv.org/abs/2403.03458

Abstract visual reasoning • 少数の例から、抽象的なルールを推測し、 一般化する課題 • 人間のintelligenceのテストベッド（IQテ ストなど） • ニューラルネットは不得意 Raven’s Progressive Matrices 3

関係性ボトルネック [Webb+ 2023a] • 抽象化を可能にする帰納バイアスを、アーキテクチャで実現 • 問題の画像（物体）特徴は抽出済みという前提で関係性ボトルネックを実現 [Webb+ 2020; 2021; Kerg+ 2022; Altabaa+ 2023] • Object-Centric Relational Abstraction (OCRA) [Webb+ 2023b] • 物体中心表現（object-centric representation） [Greff+ 2019; Burgess+ 2019; etc] に関係性ボトルネックを導入 • 計算量が高いという問題 • Abstractors [Altabaa+ 2023] • Transformerの拡張 • relational cross-attention（後述）によって関係と物体特徴がdisentangleされる • 本研究の提案Slot Abstractorsは、abstractorsと物体中心表現を統合 4

Slot Abstractors：アーキテクチャ 物体中心表現 [Locatello+ 2020; Webb+ 2023b] 物体表現から抽象化された関係性表現 [Altabaa+ 2023] 5

関係性表現の学習 • Multi-head relational cross-attention • 標準のcross-attentionとの違い • queryとkeyはfeature embeddingから、valueはposition embeddingから作成 • downstreamがpositionに関する情報にのみアクセス→関係性ボトルネック 6

実験：ART • ARTデータセット [Webb+ 2021] 7

実験：SVRT • SVRTデータセット [Fleuret+ 2011] 8

実験：CLEVR-ART • CLEVR-ART [Webb+ 2023b] 9

実験：PGM • PGMデータセット [Barrett+ 2018] 10

実験：V-PROM • V-PROMデータセット [Teney+ 2020] 11

まとめ • 関係性ボトルネックを導入したアーキテクチャSlot Abstractorsを提案 • 物体中心表現とAbstractorsの統合 • 様々なAbstract visual reasoningのタスクで高成績 12

将来展望 • 抽象化や関係性の学習は、現在主流の人工知能は不得意 • 少数例から抽象的な規則を発見して一般化するのは、人間ならでは能力 • アブダクション（仮説の思いつき） • 脳科学では、海馬や前頭前野が関係しているかも、という知見も • 汎用人工知能への糸口？ 13

Brain-Inspired Intelligence (BII) セミナー • • • • 脳とAIの接点における最新論文の輪読会 Weblab Slackチャネル：#brain-inspired-intelligence HP: https://sites.google.com/view/bii-seminar 月１度 水曜 16:00~ 14