【DL輪読会】LLM for Social Good

DEEP LEARNING JP [DL Papers] LLM for Social Good Tatsuyoshi Ogawa, JAIST. http://deeplearning.jp/

• http://deeplearning.jp/

概要 LLMを実社会に応用するにあたって，重要な技術になりうる３本の論文を紹介． 1. Nash Learning from Human Feedback 2. Do Models Explain Themselves? Counterfactual Simulatability of Natural Language Explanations 3. Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling 2

１本目書誌情報+α • Nash Learning from Human Feedback ▪ Remi Munos, Michal Valko, Daniele Calandriello, Mohammad Gheshlaghi Azar, Mark Rowland, Zhaohan Daniel Guo, Yunhao Tang, Matthieu Geist, Thomas Mesnard, Côme Fiegel, Andrea Michi, Marco Selvi, Sertan Girgin, Nikola Momchev, Olivier Bachem, Daniel J Mankowitz, Doina Precup, Bilal Piot ▪ ほぼGoogle DeepMind ▪ ICML 2024 (Spotlight Poster) • RLHF（Reinforcement Learning from Human Feedback）から NLHF（Nash Learning from Human Feedback）へ． 3

選好（≠報酬）の学習 • 選好：プロンプトxに対して，回答yと回答y’のどちらがより好ましいか． • RLHFでは，人間の選好データから，報酬（スカラー値）を学習している． • NLHFでは，人間の選好データをそのまま学習した後，ナッシュ均衡を求める． ナッシュ均衡とは？ 4

LLMにおけるナッシュ均衡 • （二人版）ナッシュ均衡：相手にとって最も良い相手の戦略と， 自分にとって最も良い自分の戦略の組． • LLMにおけるナッシュ均衡：他のどんな回答よりも 選好が高い回答を求めること NLHF（≠RLHF）にすると何が嬉しいの？ 5

NLHF3つの特長 1. 選好モデルが人間の幅広い選好を捉えられる． 2. データの分布にあまり影響されない． 3. ナッシュ均衡が人間の選好の多様性とよりよく整合する可能性がある． 実験でRLHFより優れているか確認． 6

実験 • 要約タスクにおいて，巨大なLLMから選好の信号から学習した， SFT（ベースライン）, RLHF, SP（Self Play）, MD1（提案手法）を比較する． 表1（抜粋＆加工） 7

２本目書誌情報+α • Do Models Explain Themselves? Counterfactual Simulatability of Natural Language Explanations ▪ Yanda Chen, Ruiqi Zhong, Narutatsu Ri, Chen Zhao, He He, Jacob Steinhardt, Zhou Yu, Kathleen Mckeown ▪ Columbia University, UC Berkeley, NYU Shanghai, New York University ▪ ICML 2024 (Spotlight Poster) • 反実仮想シミュレーション可能性にもとづいて，２つの評価指標を提案． 8

反実仮想シミュレーション可能性 • 反実仮想シミュレーション可能性：モデルの自然言語による説明に対して 反実仮想的な質問をして，モデルの回答をシミュレーション可能であること． • 人：「鷹は飛べますか？」 LLM：「はい，なぜならすべての鳥は飛べるからです．」 「ペンギンは飛べますか？」に対して，「はい」と答えそう． • 説明が適切なら人間の予測と一致してほしい． • 適切な説明を評価する指標として， 反実仮想シミュレーション可能性に関する２つの評価指標を提案． 9

反実仮想シミュレーションに関する２つの評価指標 • Precision（精度）：人間が（質問𝑥, 説明𝑒𝑥 ，回答𝑜𝑥 ）を見て， 異なる質問𝑥′から回答を予測できるかを評価する． • Generality（一般性）：説明𝑒𝑥 からシミュレート可能な 反実仮想𝑥’, 𝑥’’を生成させてそれれの類似度を測ることで， どれくらい多様な反実仮想を作れるか評価する． 10

実験 1. LLMに反実仮想な質問を生成させる． 2. 様々な類似度を使って， LLMがどれぐらい多様な質問を生成できたか（generality）を評価． 3. 人間がモデルの出力を予測して，精度（precision）を評価． 11

結果 • 二値分類のprecisionについて， 人間が92%のところ，GPT-3が77%，GPT-4が84%． • しかもLLMのprecisionはplausibility（事実としての正しさや， 論理的一貫性に基づく説明の好ましさ）と相関がなかった． • RLHFのように人間の選好を最適化しても precisionの低さは解決しないかもしれない． • precisionやgenerality自体の最適化を行うことで解決できるかも． 12

３本目書誌情報+α • Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling ▪ Bairu Hou, Yujian Liu, Kaizhi Qian, Jacob Andreas, Shiyu Chang, Yang Zhang ▪ UC Santa Barbara, IBM, MIT． ▪ ICML 2024 (Oral) • LLMの不確実性を，データの不確実性とモデルの不確実性に分解． 13

モデルの出力の不確実性 • モデルの出力の不確実性を評価できれば，不確実性が高い出力について， 手動で評価したり，破棄したりすることができる． • 不確実性＝①モデルの不確実性（aleatoric）＋②データの不確実性(epistemic) ▪ ①モデルの不確実性：「2+3は何か？」という質問に対して，モデルに算数の知識があれば 確実に答えられるし，そうでなければ不確実性が高くなる． ▪ ②データの不確実性：「この国の大統領は誰か？」という質問に対しては，モデルに政治の 知識があったとしても質問が曖昧なために不確実性が高くなる． 14

既存手法の問題点 • 不確実性を分解する既存手法は，LLMに適していない． ▪ ベイジアンニューラルネットワークを使う手法：モデルの訓練方法を 変える必要がある． ▪ 複数のモデルをアンサンブルする手法：金額的，計算量的に難しい． 15

提案手法 • 不確実性＝①モデルの不確実性（aleatoric）＋②データの不確実性(epistemic) 16

モデルの不確実性 不確実性分解例 データの不確実性 17

まとめ 社会実装に重要なLLM研究という観点から，以下の３論文を紹介した． 1. Nash Learning from Human Feedback RLHFからNLHFへ． 2. Do Models Explain Themselves? Counterfactual Simulatability of Natural Language Explanations 反実仮想シミュレーション可能性にもとづいた，２つの評価指標を提案． 3. Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling LLMの不確実性をデータ由来のものとモデル由来のものに分解． 18