【DL輪読会】Towards Transparent and Explainable Attention Models (ACL2020)

DEEP LEARNING JP “Towards Transparent and Explainable Attention Models” (ACL2020) [DL Papers] Takuya MATSUDATE, NRI SecureTechnologies, Ltd. http://deeplearning.jp/

• http://deeplearning.jp/

論文情報 Towards Transparent and Explainable Attention Models ACL 2020 Long paper https://www.aclweb.org/anthology/2020.acl-main.387/ https://github.com/akashkm99/Interpretable-Attention (注) スライド中の明記のない図表・式・画像は論文から引用 2

• https://www.aclweb.org/anthology/2020.acl-main.387/
• https://github.com/akashkm99/Interpretable-Attention

概要 1. LSTM+Attentionエンコーダによるモデル出力をAttention分布でうまく説明できない – Attention分布が多少変わってもモデル出力が変わらない(not faithful) – Attention分布のヒートマップをみてもモデル出力の正当性を理解できない (not plausible) • 句読点に大きなAttention重みが付与されたりする 2. LSTMエンコーダのHidden stateは互いに類似してしまう現象に着目し、モデル予測 に対しfaithful / plausibleなAttention分布が得られない理由を分析 3. LSTMエンコーダのHidden stateが互いに類似しない工夫を提案し、よりfaithful / plausibleなAttention分布が得られることを確認 3

背景 Attention Mechanism(注意機構)はNLPに おいても重要な役割 パフォーマンスの改善, モデル挙動に対する示唆 (図) Bahdanau+, ICLR2015, “NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE”, https://arxiv.org/pdf/1409.0473.pdf 4

注意によるモデル挙動の説明性 Attention分布によるモデル挙動の解釈性について、近年議論が続いた ACL 2019 NAACL 2019 EMNLP 2019 (図) Serrano and Smith, ACL2019, “Is Attention Interpretable?”、Jain and Wallace, NAACL 2019, “Attention is not Explanation”、 Wiegreffe and Pinter, EMNLP 2019, “Attention is not not Explanation” 5

説明性の概念 モデル予測の解釈性にはいくつかの観点がある • Faithful Explanation (忠実な説明) より高いAttentionの重みを与えられた要素がモデルの予測に大きく寄与する “Is Attention Interpretable?” (Serrano and Smith, ACL2019) “Attention is not Explanation” (Jain and Wallace, NAACL 2019) • 高いAttentionの重みがモデル予測へ大きな影響を必ずしも与えない – Attentionの重みを入れ替えても結果が変わらなかった – Attentionは忠実な(Faithful)説明を提供しない • Plausible Explanation (もっともらしい説明) モデル予測が正当であると人間が理解できる “Attention is not not Explanation” (Wiegreffe and Pinter, EMNLP 2019) • モデルの動作に対して忠実でなくても、人間の理解できる”もっともらしい”説明を提供し ないとは言えない 6

LSTM+Attentionモデルの分析 7

LSTM + Attention 入力文 LSTM 隠れ状態列 Attention モデル出力 8

Conicity (円錐度) ベクトル間の類似度の指標としてConicityを使う Conicityが高いほど各々のベクトルは類似 ベクトル列 ATM (Alignment to Mean) 狭いコーン Conicity高 広いコーン Conicity低 Conicity 9

Attention重みによる集約 Attentionで集約されるContext VectorはHidden statesの凸結合 Context vectorはHidden statesのなすコーンの内側に作られる Attention 凸結合 モデル出力 Conicityが高い(ベクトルが互いに似ている)場合 Attentionの分布が多少変わってもContext vector(と出力も)ほとんど変わらない →Faithfulnessが損なわれる 10

実験 全12データセット、4タスクで実験 – タスク • Text Classification, Natural Language Inference, Paraphrase Detection, Question Answering – “Attention is not Explanation”の実験内容をほぼ踏襲 モデル – Vanilla LSTM • 1-layered LSTM + Attention , hidden sizeは128～256 • bAbi以外には学習済みの単語埋め込みを使用(Glove, fastText) • bAbiは50次元のEmbeddingをscratchで学習 11

LSTMにおけるConicity 0.43～0.77程度と高い値 (ベクトル間に依存性の無い場合0.02～0.30程度) → Faithfulな説明能力が無い理由(かも) 12

品詞ごとのAttention重み 入力文に品詞を付与して品詞ごとのAttentionの重みを蓄積 – Plausible(人が解釈可能)な観点からは、句読点に対してAttentionの重みは大 きい値にならない方が良い • 句読点にAttentionがついても人間がモデル予測の正当性を理解できない いくつかのデータセットで句読点に大きな割合でAttentionが付与される – Yelp, Amazon, QQPでは全体のAttentionのうち句読点にそれぞれ 28.6%, 34.0%, 23.0% のAttention重みがかかる • 句読点は全体の10～11%程度なので、大きい値と言える モデル出力に対するPlausibleな説明ができるか疑問 13

Diversity LSTM / Orthogonal LSTM 14

Conicityを小さくする工夫 • Orthogonalization – LSTMのstepごとの隠れ状態を、それまでの隠れ状態の平均に対して直交する よう強制する LSTMからの 変更部分 • Diversity Driven Training – Conicityを目的関数いれる 15

提案モデルに対する実験 全12データセット、4タスクで実験 – 既出の通り モデル 1. Vanilla LSTM • 1-layered LSTM + Attention, hidden sizeは128～256 2. Diversity LSTM • • 目的関数にConicityを入れたもの。モデルはVanilla LSTMと同じ。 Diversity weight λは0.1～0.5 3. Orthogonal LSTM • 隠れ状態の直交化を行うモデル。目的関数はVanilla LSTMと同じ。 その他 – – bAbi以外には学習済みの単語埋め込みを使用(Glove, fastText) bAbiは50次元のEmbeddingをscratchで学習 16

提案モデルの性能 1 Vanilla LSTMと同等の精度を出せる → 性能は犠牲にならない 17

提案モデルの性能 2 Vanilla LSTMに対しConicityは大きく下げられる Randomと同等の値 18

Faithful / Plausibleな説明になっているか • Faithful Explanationの評価方法 – Importance representation erasure – ランダムな順序入れ替えによるモデル出力の変化 – Rationales(根拠;モデル予測に必要な語の最小セット)へのAttention重み付与 の割合 – Gradientベース手法との比較 • Plausible Explanationの評価方法 – 品詞ごとのAttention分布の分析 – 人間による評価 19

Importance representation erasure Hidden Representationに対して、重要度順に重みが付けられる？ – Faithfulな説明の観点 • Attentionの重みが大きいほどモデル出力に影響する モデル出力がフリップするまで、Attention重みの高い順にHidden Representationを消していく – モデル出力に重要なファクターが早く消えれば、フリップも早まるはず – “Is Attention Interpretable”と同じ分析 20

Decision flip Random : ランダ ムにHidden Reps. を削除 概ねDiversity/Ortho LSTMはより少ない消去で 出力が結果がフリップ – 高いAttentionがモデル予測に大きく影響 – よりFaithfulと言えそう 21

ランダムな順序入れ替えによるモデル出力の変化 Attentionの重みの順序をランダムに入れ替える – AttentionがFaithfulなら、入れ替えの前後で出力が 大きく変わるはず • モデル出力分布間のTotal Variation Distance (TVD) を見る – “Attention is not Explanation”の実験 Vanilla LSTMに対しDiversity/Ortho LSTMのTVDは 大きい値 – Random Permutationに対しても感度がある – よりFaithfulと言えそう 22

品詞ごとのAttention分布の分析 Vanilla LSTMは句読点へのAttentionが大きい – 既出の通り Diversity LSTMでは句読点へのAttentionが大き く減る – 名詞や形容詞へのAttentionが増加 – (直感的には)そうあるべき – (よりPlausibleであると言えそう) 23

人間による評価 人間による評価 – – – – Plausiblenessのテスト ランダムに200のデータ点をサンプル 著者と同じ組織内の(英語に堪能な)15人にテスト それぞれのサンプルに対して3人がアノテーションし、 結果は投票式で決定。明確に判断できないサンプルは スキップされる 3つの観点で評価 – Overall • モデル予測に対して概ね良い説明になっていると思うか – Completeness • Attentionのヒートマップがモデル予測に必要な全単語をハイ ライトしているか – Correctness • Attentionのヒートマップがモデル予測に重要な語のみをハイ ライトしているか(不要な語を含んでいないか) 人間による評価ではDiversity LSTMの方が良い評価 – よりPlausibleと言えそう 24

まとめ • LSTM + Attentionエンコーダにおいて、Attentionによるモデル出力の説 明はFaithfulでもPlausibleでもなくなることがある – Vanilla LSTMで学習される隠れ状態は互いによく似てしまう(Conicityが高い) ため、AttentionのInterpretabilityが下がる • よりFaithfulでPlausibleにするための工夫を提案 – 直交化(Orthogonal LSTM)と目的関数へのConicity項の追加(Diversity LSTM) – 複数の方法で評価し、Faithful/Plausibleさの改善がみられた 25

所感 • Conicityによる問題の説明 – おおむね理解できる、性能も出てわかりやすい • 実装は公開されているけど、結果が良すぎてやや不安 – 実装もそこまで難しくない(と思われる) – Conicityが大きくても(互いに似ていても)、モデルに十分な分解能(?) があれば問題な いのでは？(どれくらいのConicityなら問題ないのか) • 論文には明記が無いがUni-directionalなモデルを使ってる？ – 直交化などを考えるとBidirectionalにできない？ • LSTMで学習されるhidden stateが似てしまう – 致し方ない気もする • Hidden stateは入力文のcontext vectorとしても使う – 他の構造だとどうだろうか • Transformerでも先頭トークンをClassificationの入力に使うしConicityは高そう？ • 計算負荷 – ConicityをLossに入れると計算時間かかりそう？ 26

付録 27

RationalesへのAttention付与割合 Rationales報酬 28

Gradientベースの手法との比較 29