[DL輪読会]Learning to Retrieve Reasoning Paths over Wikipedia Graph for Question Answering(ICLR 2020 under review)

DEEP LEARNING JP [DL Papers] Learning to Retrieve Reasoning Paths over Wikipedia Graph for Question Answering (ICLR2020 under review) Kazuki Fujikawa http://deeplearning.jp/ 1

• http://deeplearning.jp/

サマリ • 書誌情報 – Learning to Retrieve Reasoning Paths over Wikipedia Graph for Question Answering • ICLR2020 under review • Akari Asai, Kazuma Hashimoto, Hannaneh Hajishirzi, Richard Socher & Caiming Xiong – 概要 • 複数の文書を参照して答えを導く、機械読解モジュールを提案 • 質問に対する回答を推定するだけでなく、その根拠となった文書とその辿り方を出力 することが可能 • パスを質問毎に動的に構築するのではなく、Wikipediaグラフ上からパスを選択する ような問題として定式化 • Beam Searchでパスを複数列挙してからリランキングすることにより、効果的な 探索を可能にした 2

アウトライン • 背景 • 提案手法 • 実験・結果 3

アウトライン • 背景 • 提案手法 • 実験・結果 4

背景 • 自然言語理解を試す問題として、機械読解が注目されている – 与えられた質問に対して大規模な文書を参照して返答を推定するタスク – 複数の文書を参照しないと正しい返答を推定できない場合もある • 大規模な文書集合の中から、参照すべき文書を効率的に検索することが必要 – 特に複数の文書を参照する場合、最終的な答えが記載された文書と質問のテキスト類似度は 必ずしも高いとは限らない – 参照パスの候補を適切に列挙し、選択していくことが必要 When was the football club founded in which Walter Otto Davis played at centre forward? Paragraph 1: [Walter Davis (footballer)] Walter Otto Davis was a Welsh professional footballer who played at centre forward for Millwall for ten years in the 1910s. Paragraph 2: [Millwall F.C.] Millwall Football Club is a professional football club in South East London, … Founded as Millwall Rovers in 1885. Figure 1: An example of open-domain multi-hop question from HotpotQA. Paragraph 2 is unlikely to be retrieved using TF-IDF retrievers due to little lexical overlap to the given question. 5

アウトライン • 背景 • 提案手法 • 実験・結果 6

提案手法: Overview • 1. Reasoning Path Retrieval • 2. Reading and Answering Reanoning Path 7

提案手法: 1. Reasoning Path Retrieval • Wikipediaのパラグラフをノードとした有向グラフを構築 – ノード: Wikipedia中のパラグラフ – エッジ: ハイパーリンク Article https://en.wikipedia.org/wiki/Walter _Davis_(footballer) Paragraph Walter Otto Davis was a Welsh professional footballer who played at centre forward for Millwall for ten years ... Paragraph Davis was born in Mold, Flintshire, and was one of six brothers. ... : Article https://en.wikipedia.org/wiki/Wales Paragraph Wales is a country that is part of the United Kingdom. ... : Article https://en.wikipedia.org/wiki/Millwall_F.C. Paragraph Millwall Football Club is a professional football club ... : 8

• https://en.wikipedia.org/wiki/Wales
• https://en.wikipedia.org/wiki/Millwall_F.C.
• https://en.wikipedia.org/wiki/Walter_Davis_(footballer)

提案手法: 1. Reasoning Path Retrieval • Wikipediaのパラグラフをノードとした有向グラフを構築 • 質問文 → 候補パラグラフ (t=1) の抽出 – TF-IDFで重み付けされたBoWで質問文と類似したWikipediaのパラグラフを検索する 9

提案手法: 1. Reasoning Path Retrieval • Wikipediaのパラグラフをノードとした有向グラフを構築 • 質問文 → 候補パラグラフ (t=1) の抽出 • 候補パラグラフ → 候補パラグラフのPath（Reasoning Path）の推定 – 前の時刻で抽出された候補パラグラフと質問文に対してBERTで特徴抽出を行い、 それらの結合を基にRNNで次に参照すべきParagraphを推定する 10

提案手法: 1. Reasoning Path Retrieval • Wikipediaのパラグラフをノードとした有向グラフを構築 • 質問文 → 候補パラグラフ (t=1) の抽出 • 候補パラグラフ → 候補パラグラフのPath（Reasoning Path）の推定 • 訓練: Teacher Forcing – アノテーションしたReasoning Pathを使い、各時刻で以下の目的関数を最適化する 11

提案手法: 1. Reasoning Path Retrieval • Wikipediaのパラグラフをノードとした有向グラフを構築 • 質問文 → 候補パラグラフ (t=1) の抽出 • 候補パラグラフ → 候補パラグラフのPath（Reasoning Path）の推定 • 訓練: Teacher Forcing • 予測: Beam Search – Beam Searchで複数の候補Reasoning Pathを出力する 12

提案手法: 1. Reasoning Path Retrieval • 訓練テクニック1: 正解データの水増し – 最終的に𝑝|𝑔| まで辿り着けば、最短パスである必要は無い • Wikipedia上で𝑝1 に対してハイパーリンクが貼られているパラグラフの中で、 𝑝1 とのTF-IDF 類似度が最も高いパラグラフを𝑝1 の前に追加 Reasoning Path (GT): 𝑝1 𝑝2 ... 𝑝|𝑔| Reasoning Path (GT Augmented): 𝑝𝑟 𝑝1 𝑝2 ... 𝑝|𝑔| 13

提案手法: 1. Reasoning Path Retrieval • 訓練テクニック2: 負例の選択 – TF-IDFベースの負例 • TF-IDF類似度の高いパラグラフを負例とする – ハイパーリンクベースの負例 • Wikipedia上で前のパラグラフに対してハイパーリンクが貼られているパラグラフを負例とする • 結論的にはこの負例の取り方が効果的だった 14

提案手法: 2. Reading and Answering Reasoning Path • 候補Reasoning Pathのリランキング – 候補Reasoning Pathに対し、BERTベースのReaderでスコアリング – 予測時は上記スコアの最も高いPathを最終予測結果とする 15

提案手法: 2. Reading and Answering Reasoning Path • 候補Reasoning Pathのリランキング • 訓練: マルチタスク学習 – QAタスクのGT, Reasoning PathのGTを使ってマルチタスク学習を行う • QAタスク: 質問文・記事の単語列が与えられ、回答となる記事中の区間（単語の開始・終了位置） を推定する 16

提案手法: 2. Reading and Answering Reasoning Path • 候補Reasoning Pathのリランキング • 訓練: Reading comprehension taskとのマルチタスク学習 • 予測: スコアの高いPath, 記事中の区間を最終予測結果とする 17

提案手法: Overview • 1. Reasoning Path Retrieval • 2. Reading and Answering Reanoning Path 18

アウトライン • 背景 • 提案手法 • 実験・結果 19

データセット • HotspotQA [Yang+, EMNLP2018] – 複数のWikipedia記事の参照が必要な質問応答に関するデータセット – 質問文、回答となる箇所の開始トークンと終了トークン、参照すべき記事セットが アノテーションされている – Yes/Noで答える質問も存在 – データ数 • training: 90,564 • development: 7,405 • test: 7,405 20

実験概要 • 以下複数の実験設定で実験を行う – 候補パラグラフ (t=1) の抽出法 • full wiki: TF-IDFでの検索結果上位10件。GTのパラグラフが含まれない可能性もあり • distractor: TF-IDFでの検索結果上位8件 + GT2件。full wikiより易しい設定 – タスク • QA: 質問に対する答えが正しいかどうか • SP (Support fact preciction): Reasoning Pathが正しいかどうか – 評価指標 • F1: F1-score • EM: Exact match 21

実験結果 • 比較手法 – 図1: Baseline [Yang+, EMNLP2018] – 図2: QFE [Nishida+, ACL2019] – 図3: Transformer-XH [Anonymous, ICLR2020 under review] – etc. 図1: Baseline [Yang+, EMNLP2018] 図2: QFE [Nishida+, ACL2019] 図3: Transformer-XH [Anonymous, ICLR2020 under review] 22

実験 • 実験結果 – 多くの実験設定において、他手法を上回る結果となった – Retiever: reccurent module, Reader: negative examples の工夫が特に効果的だった • Wikipediaのハイパーリンクのグラフを扱うことの重要性が示唆された 23

結論 • 複数の文書を参照して答えを導く、機械読解モジュールを提案 – 質問に対する回答を推定するだけでなく、その根拠となった文書とその辿り方を出力 することが可能 – パスを質問毎に動的に構築するのではなく、Wikipediaグラフ上からパスを選択する ような問題として定式化 – Beam Searchでパスを複数列挙してからリランキングすることにより、効果的な 探索を可能にした • Future work – Retriever, ReaderのE2E学習ができるようにすること 24

References • Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William Cohen, Ruslan Salakhutdinov, and Christopher D. Manning. HotpotQA: A dataset for diverse, explainable multi-hop question answering. In EMNLP, 2018. 25