松尾研LLMコミュニティLLMATCHS4成果発表会_堀田 大智

LLMATCH 【 Season 4 】成果発表会 BabyLM における 再帰的 Transformer の可能性と マルチモーダル学習の壁 堀田 大智 LLMATCH 研究員 EMNLP 2026 併設 BabyLM Workshop 2026 年 9 月 16 日 1

BabyLM Challenge とは  コンペと研究発表のワークショップを組み合わせた取り組み 人間と LLM の学習データ量の違い  現在の大規模言語モデル（ LLM ）は 人間の子どもが経験する言葉の量をはる かに上回る大量のデータで学習  一方 子どもは赤ちゃんから思春期までに触れる比較的少ない言葉から言語を 獲得 BabyLM Challenge の目的  子どもが触れる言葉の量を参考に 文章を 1 億語以下に制限し その中で言語 能力の向上を競うコンペ  参加者による 学習方法やモデル構造の工夫 BabyLM Challenge 公式サイト； Hu et al. (2024) 2

BabyLM のマルチモーダルトラック  2024 ・ 2025 年に 文章と画像を使うマルチ モーダルトラックを実施 画像とキャプション  子どもは 言葉を聞くだけでなく物や人の動 きも手がかりに 言葉を習得  画像も学習の手がかりに加え 文章のみの場 合を上回る言語能力の獲得を目指すトラック  学習データは「文章のみのデータ」と「画像 とキャプション（説明文）の組」の 2 種類 A dog is running. 写真： SpanishSnake / Wikimedia Commons / CC0 3

BabyLM で画像を活かす難しさ 大会の結果とトラックの統合  2024 ・ 2025 年の大会集計では ベースラインを上回る提出なし  提出数の少なさもあり 2026 年に独立したマルチモーダルトラックを統合 Hu et al. (2024) ； Charpentier et al. (2025) ； BabyLM 2026 募集要項 文章のみで学習したモデルとの比較  画像と文章で学習したモデルについて 文章のみのモデルより言語成績が改善 しない例や 文法課題の正答率が低下する例の報告 Klerings et al. (2024) ； Takmaz et al. (2025)  画像と言語の情報を組み合わせて理解するための計算量が足りていないので はないかという仮説 4

Looped Transformer とは 標準 Transformer との違い text tokens x embedding E(x)  標準 Transformer ：層ごとに異なる重みを 使う構造 E(x)  Looped Transformer ：同じ層のまとまりを 同じ重みで繰り返し使う構造 k<K shared core 繰り返し 12 layers 本研究での設定 +  12 層の処理結果を同じ 12 層へ戻し 合計 4 回の処理 nal RMSNorm  重みを使い回すため パラメータ数は一定 tied LM head k=K next-token prediction standard: K = 1, a = 0, Ninj = 0 looped: K = 4, a = 1; Ninj = 0 (prex once) or 2 (loop_mm) 図1 本研究の Looped Transformer 5

モデルの比較条件 標準型 ループ型 同じパラメータ数 12 層 12 層 × 4 回 同じ推論計算量 48 層 12 層 × 4 回 図2 比較するモデルの層数と繰り返し回数  上段はパラメータ数 下段は推論時の計算量をそろえた比較 6

画像を使う条件と使わない条件の比較 使う文章の量を 1 億語にそろえて 4 つの条件で比較 モデル 文章のみ 画像と文章 標準 Transformer 標準型 × 文章のみ 標準型 × 画像と文章 Looped Transformer ループ型 × 文章のみ ループ型 × 画像と文章  キャプションも 1 億語に含めるため 画像を使う条件では 学習する文章の構成 も変化  すべての条件を 文法課題 BLiMP の正答率で評価 文法的に自然な英文を選べるかを測る課題 7

分かったこと 同じ推論計算量での比較  12 層を 4 回使うループ型は 48 層の標準型より高い文法課題の正答率を記録 画像を使う条件と使わない条件の比較  過去の報告と同様に 画像を使う条件は 文章のみの条件より低い正答率  ループ型でも 画像を使う条件と使わない条件の正答率の差に 明確な縮小なし  画像の有無だけでなく 学習する文章の構成にも違い 8

論文情報 EMNLP 2026 併設 BabyLM Workshop Loop Before You Leap: What Recurrent Depth Can and Cannot Buy in Data-Limited Pretraining Daichi Hotta, Yohei Kobashi, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo 詳しい実験条件や追加分析は 公開後の論文で紹介 9

効率的なGraph RAG 2026.9.16 LLMATCH 研究員 清 恵人

Retrieval Augmented Generation (RAG) • Pre-trainした情報しか答えられない • 外部データからcontextを 取得し、回答をする • 再学習不要 [1] Wenqi Fan, Yujuan Ding, Liangbo Ning, Shijie Wang, Hengyun Li, Dawei Yin, Tat-Seng Chua, Qing Li, A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models, 2024, arxiv

Graph RAGとは • グラフ構造を活用して知識を整理・検索するRAGのサブフレームワーク • 外部知識をベクトル→構造データを採用し知識間の依存関係をモデル • 全体フロー： • Knowledge Organization: 外部知識を構造化する • Knowledge Retrieval : 関連情報を検索する (論理的な一貫性) • Knowledge Integration : 検索結果を統合して回答を出力する [2] Qinggang Zhang, Shengyuan Chen, Yuanchen Bei, Zheng Yuan, Huachi Zhou, Zijin Hong, Hao Chen, Yilin Xiao, Chuang Zhou, Junnan Dong, Yi Chang, Xiao Huang, A Survey of Graph Retrieval-Augmented Generation for Customized Large Language Models,2025,arxiv

Graph RAGの処理フロー • Q : Which language do Jamaican people speak? Jamaican English language spoken ・・・・ ・・・・ Jamaican English Close to Official language Haiti 関係するpathを 抽出する Jamaica -> official language -> English Jamaica -> language spoken -> Jamaican English Jamaica -> close to -> Haiti LLMを用いて推論 English , Jamaican English

Graph RAG (prompt 例) I NST RUCT I ON Based on the reasoning paths, please answer the given question. Please keep the answer as simple as possible and return all the possible answers as a list. REASO NI NG PAT HS ▸Jamaica → official language → English ▸Jamaica → language spoken → Jamaican English ▸Jamaica → close to → Haiti QUEST I ON Which language do Jamaican people speak?

Graph RAGとRAGの違い 1. 文章間の関係を考慮する 2. 構造データにより低コスト 3. 画像・数値データ・グラフデータ など様々なデータが扱える 4. 推論パスの出力により解釈性 [2] Qinggang Zhang, Shengyuan Chen, Yuanchen Bei, Zheng Yuan, Huachi Zhou, Zijin Hong, Hao Chen, Yilin Xiao, Chuang Zhou, Junnan Dong, Yi Chang, Xiao Huang, A Survey of Graph Retrieval-Augmented Generation for Customized Large Language Models,2025,arxiv

Graph RAGの難しさ 多hop推論が求められる Q :The person educated at Chase Lane Primary School played for what team in 2011 (チェース・レーン・プライマリー・スクールで教育を受けた人 物は、2011年にどのチームでプレーしましたか？) Student graduates Chase Lane Primary School David Beckham World cup team Current squad Current club LA Galaxy

既存研究で行っていること • モデルの学習 GNNを学習して推論する • 複数のLLM callによる推論 plan-> 検索 -> 推論-> 強化 新しいデータに対応できない コストが高い

提案手法 Training free かつ Single LLM call メリット • Training free → 変化するデータ(Knowledge) に対応できる 学習データが不要になること • Single LLM call → モデルのコストを抑えることができる

まとめ BACKGROUND • Graph RAG はグラフ構造で外部知識を整理し、関係性を辿った解釈性の高い 回答を生成する PROBLEM • GNN 学習型は新しい知識に対応できず、複数 LLM call 型は推論コストが高い PROPOSAL • Training free かつ Single LLM call の Retrieval により、両者の弱点を同時に解 消する 詳しい内容は公開後の論文を参照ください。 Title : 「Training-Free Residual-Guided Retrieval for Multi-hop KGQA with SingleStep LLM Inference」にて公開予定です。