松尾研LLMコミュニティLLMATCH S4 成果発表会_清恵人
-- Views
October 01, 26
スライド概要
■ 2026/9/16(金)開催 LLMATCH [Season4] 成果発表会
2026年4月にスタートしたSeason4では、約6ヶ月にわたり58名の学生がLLMの研究開発に挑戦し、最先端の技術に取り組んできました。2026/9/16(金)にオンラインにて、 "LLMATCH [Season4]" の成果発表会を行いました。
▼発表内容：発表者(3名)
1. GNN評価のための引用ネットワークにおける視覚的類似性と構造的集約：小野塚 荘一さん（WI-IAT 2026 採択者）
2. BabyLMにおける再帰的Transformerの可能性とマルチモーダル学習の壁：堀田 大智さん（EMNLP 2026 Workshop（BabyLM） 採択者）
3.Graph RAGにおける研究成果の報告：清 恵人さん (AACL-IJCNLP 2026 採択)
▼アーカイブ動画はこちら
https://youtu.be/G1-Z9ljJtwc
----
■ LLMATCHとは
「LLMATCH」という名称は、"Large Language Model Advanced Training & Challenging Hub" に由来し、学生の皆さんが持つLLM（大規模言語モデル）に関するアイデアを、研究として発展させることを目的としたプログラムです。
本プログラムでは、東京大学 松尾・岩澤研究室の研究員が、最大1年を目安に、参加者一人ひとりの関心やスキルに応じて、次のキャリアや挑戦につながる支援を行っています。
また、研究メンバーの活動を支える「アシスタント」ポジションも設けており、学生・社会人を問わず、コミュニティの一員として研究の進行をサポートしてくださる方を広く募集しています。
■ LLMATCH仮応募について
LLMATCHにご関心のある方や、次期プログラムへの参加を検討されている方向けに、2027年4月スタート予定のSeason6に向けた「仮登録」の受付を開始しております。 正式な募集開始時に優先的にご案内をお送りいたしますので、ぜひお気軽にご登録ください。
▼ 仮登録フォームはこちら
https://forms.gle/qKvLoobRdip5pzKi9
東京大学松尾・研究室が運営する「松尾研LLMコミュニティ」でのイベント資料などを公開します。 ◾️ 松尾研LLMコミュニティとは 松尾研LLMコミュニティは、「大規模言語モデルについて知って学べるオンライン空間」として、東京大学松尾・岩澤研究室が運営するコミュニティです。 現在、学生を中心とした10,000名以上が、原則無償で参加しています。 また、本コミュニティでは様々なイベント等を定期的に開催しております。 是非下記のリンクより参加申し込みをお待ちしております。 ◾️ 松尾研LLMコミュニティの各種リンク ・今後のイベント開催情報/参加申込；https://tr.ee/7d_W4DsImD ・松尾研LLMコミュニティ参加フォーム；https://tr.ee/RyDfuRzS55 ・過去イベントアーカイブ；https://tr.ee/wqdbFJJZ25
関連スライド
各ページのテキスト
効率的なGraph RAG 2026.9.16 LLMATCH 研究員 清 恵人
Retrieval Augmented Generation (RAG) • Pre-trainした情報しか答えられない • 外部データからcontextを 取得し、回答をする • 再学習不要 [1] Wenqi Fan, Yujuan Ding, Liangbo Ning, Shijie Wang, Hengyun Li, Dawei Yin, Tat-Seng Chua, Qing Li, A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models, 2024, arxiv
Graph RAGとは • グラフ構造を活用して知識を整理・検索するRAGのサブフレームワーク • 外部知識をベクトル→構造データを採用し知識間の依存関係をモデル • 全体フロー： • Knowledge Organization: 外部知識を構造化する • Knowledge Retrieval : 関連情報を検索する (論理的な一貫性) • Knowledge Integration : 検索結果を統合して回答を出力する [2] Qinggang Zhang, Shengyuan Chen, Yuanchen Bei, Zheng Yuan, Huachi Zhou, Zijin Hong, Hao Chen, Yilin Xiao, Chuang Zhou, Junnan Dong, Yi Chang, Xiao Huang, A Survey of Graph Retrieval-Augmented Generation for Customized Large Language Models,2025,arxiv
Graph RAGの処理フロー • Q : Which language do Jamaican people speak? Jamaican English language spoken ・・・・ ・・・・ Jamaican English Close to Official language Haiti 関係するpathを 抽出する Jamaica -> official language -> English Jamaica -> language spoken -> Jamaican English Jamaica -> close to -> Haiti LLMを用いて推論 English , Jamaican English
Graph RAG (prompt 例) I NST RUCT I ON Based on the reasoning paths, please answer the given question. Please keep the answer as simple as possible and return all the possible answers as a list. REASO NI NG PAT HS ▸Jamaica → official language → English ▸Jamaica → language spoken → Jamaican English ▸Jamaica → close to → Haiti QUEST I ON Which language do Jamaican people speak?
Graph RAGとRAGの違い 1. 文章間の関係を考慮する 2. 構造データにより低コスト 3. 画像・数値データ・グラフデータ など様々なデータが扱える 4. 推論パスの出力により解釈性 [2] Qinggang Zhang, Shengyuan Chen, Yuanchen Bei, Zheng Yuan, Huachi Zhou, Zijin Hong, Hao Chen, Yilin Xiao, Chuang Zhou, Junnan Dong, Yi Chang, Xiao Huang, A Survey of Graph Retrieval-Augmented Generation for Customized Large Language Models,2025,arxiv
Graph RAGの難しさ 多hop推論が求められる Q :The person educated at Chase Lane Primary School played for what team in 2011 (チェース・レーン・プライマリー・スクールで教育を受けた人 物は、2011年にどのチームでプレーしましたか？) Student graduates Chase Lane Primary School David Beckham World cup team Current squad Current club LA Galaxy
既存研究で行っていること • モデルの学習 GNNを学習して推論する • 複数のLLM callによる推論 plan-> 検索 -> 推論-> 強化 新しいデータに対応できない コストが高い
提案手法 Training free かつ Single LLM call メリット • Training free → 変化するデータ(Knowledge) に対応できる 学習データが不要になること • Single LLM call → モデルのコストを抑えることができる
まとめ BACKGROUND • Graph RAG はグラフ構造で外部知識を整理し、関係性を辿った解釈性の高い 回答を生成する PROBLEM • GNN 学習型は新しい知識に対応できず、複数 LLM call 型は推論コストが高い PROPOSAL • Training free かつ Single LLM call の Retrieval により、両者の弱点を同時に解 消する 詳しい内容は公開後の論文を参照ください。 Title : 「Training-Free Residual-Guided Retrieval for Multi-hop KGQA with SingleStep LLM Inference」にて公開予定です。