即興型ディベートにおける大局的な反論構造の可視化に基づく議論の噛み合い度合いの基礎検討

即興型ディベートにおける 大局的な反論構造の可視化に基づく 議論の噛み合い度合いの基礎検討 明治大学 福井雅弘 明治大学 中村聡史

即興型ディベートとは？ • 無作為に肯定側と否定側に 分かれ討論 • 賛否両論あるトピック - 宿題を廃止すべきか？ - 投票を義務にすべきか？ など 2

即興型ディベートとは？ • 持ち時間あり・ターン制 • 中立な審判が勝敗を判定 • 目的は論破ではなく建設的議論 - ディベートは対話の形式 3

即興型ディベートの特徴 • 議論が複雑に入り組んでいる - 複数の論点で主張･反論が並行 - 反論の数がかなり多い • 議論を深めるには噛み合った反論が重要 4

議論マイニング ADUと反論関係のグラフを生成 - ADU：議論の最小単位．主張や理由づけなど 肯定 否定 宿題は生徒に負担なので廃止すべきだ。第 一に、メンタルの負担が大きく... 第二に睡 眠時間がへり肉体的負担が... これが原因で 勉強が嫌いになり、将来に悪影響が... 肯定側の１点目に反論する。まず精神的負 担については... また、睡眠時間をへらす必 要はなく... 勉強が嫌いになると述べていた が、宿題がなければ勉強しないので... 5

議論マイニング ADU：議論の最小単位 ステップ１ ADUへ分割 - 同じ論点でも、観点やナンバリングごとに分割 宿題は生徒に負担なので廃止すべきだ。第 一に、メンタルの負担が大きく... 第二に睡眠時間がへり肉体的負担が... これが原因で勉強が嫌いになり、将来に悪 影響が... 肯定側の１点目に反論する。まず精神的負 担については... また、睡眠時間をへらす必要はなく... 勉強が嫌いになると述べていたが、宿題が なければ勉強しないので... 6

議論マイニング ADU：議論の最小単位 ステップ２ 反論関係を推定 宿題は生徒に負担なので廃止すべきだ。第 一に、メンタルの負担が大きく... 第二に睡眠時間がへり肉体的負担が... これが原因で勉強が嫌いになり、将来に悪 影響が... 肯定側の１点目に反論する。まず精神的負 担については... また、睡眠時間をへらす必要はなく... 勉強が嫌いになると述べていたが、宿題が なければ勉強しないので... 7

議論マイニング ADU：議論の最小単位 • ADUの個別的分析が中心 - ADUのカテゴリ毎に頻度を分析 [Hsiaoら 2022] - 反論をADUペアの類似度から評価 [Wachmuthら 2018][Shiら 2023] • 個々の反論は優れているが噛み合わない場合も - 議論全体の流れが断たれている - 整理されておらず伝わらない 即興型の評価は大局的な観点が必要 参考文献： Hsiao, F. H., Yen, A. Z., Huang, H. H., & Chen, H. H. (2022). Modeling Inter Round Attack of Online Debaters for Winner Predi ction. In Proceedings of the ACM Web Conference 2022, pp. 2860-2869. Wachsmuth, H., Syed, S., & Stein, B. (2018). Retrieval of the best counterargument without prior topic knowledge. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, vol. 1, pp. 241-251. Shi, H., Cao, S., & Nguyen, C. T. (2023). Revisiting the Role of Similarity and Dissimilarity in Best Counter Argument Retrieval. arXiv preprint arXiv:2304.08807. 8

議論マイニングと可視化 ADU：議論の最小単位 大局的な理解には議論グラフの可視化が有効 対立関係のグラフ構造から 議論の説得力を評価 [Ruiz-Dolz, 2022] 論述文の議論グラフを可視化 説得力のある構造の理解を支援 [Xia, 2022] 参考文献：Ruiz-Dolz, R., Heras, S., & García-Fornes, A. (2022). Automatic Debate Evaluation with Argumentation Semantics and Natural Language Argument Graph Networks. arXiv preprint arXiv:2203.14647. Xia, M., Zhu, Q., Wang, X., Nie, F., Qu, H., & Ma, X. (2022). Persua: A Visual Interactive System to Enhance the Persuasiveness of Arguments in Online Discussion. Proceedings of the ACM on Human-Computer Interaction, vol. 6, pp. 1-30. 9

研究の問い 反論の大局的構造から、 議論の噛み合い度合いを評価できるか？ → 反論構造の特徴に関する４つの仮説を検証 10

仮説１ 遠い反論は 議論の流れを断つ？ ADU：議論の最小単位 １人目 ２人目 ３人目 4人目① 4人目② 4人目③ 2人以上前に反論が集中 → 直前の発言を無視 or 相手側が連携不足 １人目 ２人目 ３人目 4人目① 4人目② 4人目③ 11

仮説２ 反論のラリーは 議論の流れを強化？ ADU：議論の最小単位 １ ２ ３ ４ ５ 反論先と反論元が一致 → 再反論や再々反論で 議論が白熱 ６ ７ ラリー： 1←2←4←6 3←5←7 １ ２ ３ ４ ラリー： 2←5←7 ５ ６ ７ 12

仮説３ 反論の順序が揃うと 伝わりやすい？ ADU：議論の最小単位 メンタル 睡眠 勉強嫌い 勉強嫌い 睡眠 メンタル (例) 宿題を無くすべきか？ 論点：生徒の負担 - 理由A メンタル面 - 理由B 睡眠時間 - 理由C 勉強嫌いになる メンタル 睡眠 勉強嫌い メンタル 睡眠 勉強嫌い 13

仮説４ ADU：議論の最小単位 反論の間隔が大きいと伝わらない？ 宿題は無くすべきだ。勉強嫌い の子供が増えて... ... 勉強嫌いについては... 間隔=0 メンタルについては... 教師については... 否定側の1つ目の論点は... 間隔=4 2つ目の論点は... また、勉強嫌いについては... まとめると... 14

仮説と大局的特徴量 仮説から特徴量を定義 反論の遠さ 遠い反論の割合 反論のラリー 総ラリー数 順序の対応 交差数の逆数 反論の間隔 すべての間隔の和 15

コーパス構築 即興型ディベート20試合を対象 → 動画から文字起こしを取得 著者が手作業で議論マイニング 16

仮説の検証 遠い反論：2人以上前への反論 ① 仮説から特徴量を定義 → 指標𝑠𝑐𝑜𝑟𝑒を算出 𝑠𝑐𝑜𝑟𝑒 ＝ 反論の遠さ ＋ 反論のラリー ＋ 順序の対応度＋ 反論の間隔 ② ディベート経験者による評価 「議論は噛み合っていましたか？」 → そう思わない：1 〜そう思う：4の4段階 (評価者5名, 全20試合に対し合計30件の回答) 17

仮説の検証 遠い反論：2人以上前への反論 scoreと経験者の評価に正の相関 (r=0.732) 経験者による評価値 4.5 y = 0.945x + 0.376 r = 0.732 4 3.5 3 2.5 2 1.5 1 0.5 0 1 1.5 2 2.5 3 3.5 score 18

考察：反論の遠さ 遠い反論 多 遠い反論：2人以上前への反論 遠い反論 少 直前への反論が 重要 肯定側2人目の発言が 少ない→ 対話が崩壊 反論は少ないが 経験者の評価は最高 19

考察：反論のラリー ラリー 多 • 間隔が広く順序も揃わない • 評価値が4段階で2.67 伝わりにくくてもラリーが 長続きすれば議論は深まる 20

考察：反論の間隔 間隔 大 間隔 小 • 反論の間隔が大きいほど議 論が噛み合わない傾向 • 同じ発言への反論自体が問 題である可能性 青：同じ発言への反論 21

仮説の検証 遠い反論：2人以上前への反論 順序の対応には課題 遠さ ラリー 間隔 ○ ○ × ○ ○ ○ ○ ○ × ○ ○ ○ ○ ○ × 経験者評価との 順序の対応 相関係数 ○ 0.732 × 0.716 ○ 0.606 ○ 0.619 ○ 0.612 22

考察：順序の対応 順序の対応：エッジの交差数の逆数 対応 小 • 交差の少ない反論群あり • 経験者評価が4段階で3 順序は揃っているのに 過小評価 23

展望 ADU：議論の最小単位 • 特徴量の算出手法の改善 - 特徴的な構造を重点的に評価 • 音声記録から自動で構造を可視化するシステム - ディベーターへフィードバックを行うシステム - 優れた反論群を強調表示 24

まとめ ADU：議論の最小単位 背景 即興型ディベートの分析には大局的観点が必要 手法 ４つの仮説に関する特徴量を検証 - 反論の遠さ/ラリー/間隔/順序の対応 結果 経験者による評価と正の相関 定義の妥当性に課題 25