漫画の振り返りを支援するクイズとその答えからのシーン推定

漫画の振り返りを支援するクイズと その答えからのシーン推定 櫻井翼 田中佑芽 関口祐豊 （明治大学） 中村聡史

背景 ⚫ 連載漫画は週・月単位，単行本は数ヶ月～数年の更新頻度 ⚫ 複数作品を同時に読み進めることも 読書に空白期間が生まれ， 物語や登場キャラクタを忘れてしまう

キャラクタの記憶度合いについて調査 キャラクタに関する記憶テストの設計および実施 ⚫ 名前から顔を思い浮かべられるか Q２ ⚫ 正誤は自己申告 Q１ 櫻井翼, 中村聡史, “漫画内キャラクタの覚えやすさに関する基礎調査, “第9回コミック工学研究会, pp. 65-72, Mar.2023.

キャラクタの記憶度合いについて調査 正確に覚えることができていたキャラクタ ⚫ 読書終了直後で47.1%，3日後で32.9% 覚えられるキャラクタ 覚えられないキャラクタ 物語に直接関係している （主人公と仲が良い，影響を 与える） 漫画内要素が定期的に出現 物語に必要であるが主軸と外れている （先生・おともキャラ） 漫画内要素に偏りがある 中盤で高く，終盤にかけて減少

キャラクタの記憶度合いについて調査 正確に覚えることができていたキャラクタ ⚫ 読書終了直後で47.1%，3日後で32.9% 覚えられるキャラクタ 覚えられないキャラクタ 物語に直接関係している （主人公と仲が良い，影響を 与える） 漫画内要素が定期的に出現 物語に必要であるが主軸と外れている （先生・おともキャラ） 漫画内要素に偏りがある 中盤で高く，終盤にかけて減少 漫画内要素の出現箇所や 物語との関連性が覚えやすさに影響を与える傾向

関連研究 コミクエ：クイズ形式で漫画の振り返りを支援 [野中ら 2021] 692冊の漫画から計1,471問のクイズが登録（2023年12月11日時点） 野中滉介, 関口祐豊, 小松原達哉, 桑原樹蘭, 中村聡史,”コミクエ:新刊読書時に前巻までの流れを想起可能とするクイズ共有手法の提案, ”第6回 コミック工学研究会, pp.63-68, Nov.2021.

物語・キャラクタの想起 漫画に対するクイズのサービスや研究 クイズで不正解のとき，読者にとって答えの箇所を探すのは容易ではない ➔ 読み返しとしては， 不正解時に該当シーンを自動で提示してくれることが望ましい

目的 漫画に対するクイズとその答えから 漫画的特徴を考慮しつつ該当するシーンを推定

クイズデータセットの構築 8作品(スポーツ)を対象に漫画ページ内から均一にクイズを作成 ⚫ 序盤，中盤，終盤から1問ずつ作成するよう指示 ⚫ 協力者5名，合計120問 件 数 クイズの分布

推定手法 クイズ文章(問題文+答え)⇋ 各ページの漫画内要素のテキスト情報 における単語のTFIDF値を用いた文章間の類似度で推定 漫画内における各ページの ⚫ セリフ情報 ⚫ イラストから得られる情報 ⚫ キャラクタ情報 を用いる クイズ文章： 「Q. ○○で何があった？ A. △△」 0.1 p. 1 0.1 p. 2 0.2 p. 52 0.6 p. 53 0.1 p. 105

推定に用いる漫画内要素 セリフ情報 ➔ テキスト情報全般をOCRで認識・検出 (mokuro[1]) イラスト情報 セリフ 単体描画 登場の有無 キャプション生成 ➔ コマに対する画像キャプション生成文章 (BLIP[2], comic-panel-detectors API[3]) キャラクタ情報 ⚫ 登場の有無 ⚫ コマ内における単体描画の有無 [1] kha-white, “Mokuro, URL : https://github.com/kha-white/mokuro, Oct.2023. ©フウワイ・サカズキ九「送球ボーイズ」 [2] Junnan Li, Dongxu Li, Caiming Xiong, Steven Hoi, “ BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation, “ Computer Vision andPattern Recognition, no.39, vol.162, pp. 12888-12900, Jan.2022. [3] roboflow, “comic-panel-detectors API, URL : https://universe.roboflow.com/personal-ov9jg/comic-panel-detectors/model/7, Oct.2023.

推定結果 クイズの作成元のページのコサイン類似度が全ページ内において 最大であった割合（一意に推定できた割合） 用いる要素 セリフ キャプション 生成 単体描画 キャラクタ 登場 推定精度 条件1 52.5% 条件2 49.2% 条件3 50.8% 条件4 52.5% 条件5 50.8%

推定結果 クイズの作成元のページのコサイン類似度が全ページ内において 最大であった割合（一意に推定できた割合） 用いる要素 セリフ キャプション 生成 単体描画 キャラクタ 登場 推定精度 前後4ページでの 推定精度 第2, 3候補での 推定精度 条件1 52.5% 55.0% 80.0% 条件2 49.2% 51.7% 85.0% 条件3 50.8% 51.7% 83.3% 条件4 52.5% 53.3% 80.8% 条件5 50.8% 53.2% 78.8%

推定結果 クイズの作成元のページのコサイン類似度が全ページ内において 最大であった割合（一意に推定できた割合） 用いる要素 セリフ キャプション 生成 単体描画 キャラクタ 登場 推定精度 前後4ページでの 推定精度 第2, 3候補での 推定精度 条件1 52.5% 55.0% 80.0% 条件2 49.2% 51.7% 85.0% 条件3 50.8% 51.7% 83.3% 条件4 52.5% 53.3% 80.8% 条件5 50.8% 53.2% 78.8% 区間を持った場面の抽出が答えの特定に繋がる

コサイン類似度の分布 答えのページやその付近のみにピークが集中する例 （推定できたクイズ） クイズ作成箇所

コサイン類似度の分布 その場面のみで起こった（そこで明らかになった）出来事 に関するクイズ Q.桃城はどんな状態で越前と試合をした？ A. 右足に捻挫をしていた (テニスの王子様) ©許斐剛「テニスの王子様」

コサイン類似度の分布 クイズの作成箇所以降にもコサイン類似度のピークがある例 （推定できたクイズ）

コサイン類似度の分布 その後の展開に繋がるようなクイズ Q.シグマがキャプテンから1点を取ったシュート の名前は？ A. ムササビシュート (送球ボーイズ) ©フウワイ・サカズキ九「送球ボーイズ」

コサイン類似度の分布 分布が平均的に高い，第2, 3候補が答えのページとなる例 （推定できなかったクイズ）

コサイン類似度の分布 答えページ セリフのないページが答えのクイズ Q. ミニゲームで試合終了間際にゴールを決めた のは誰か？ A.金田晃教 (アオアシ) 推定された ページ ©小林有吾「アオアシ」

考察 区間としての推定ができても，一意の推定精度は52.5% ➔ 答えに関連する全体のコサイン類似度が高くなり， 該当ページを特定することが難しかった セリフのないページが答えとなるクイズの精度が低かった ➔ セリフ以外の情報を用いた推定には改善の余地あり

展望 ⚫ 用いる要素・推定手法の見直しによって，精度の向上 ⚫ クイズの問題文のみからの推定（要素の削減） シーンの曖昧な説明文からの検索 読み返しを支援する手法について検討

まとめ 背景 目的 読書に空白期間が生まれ， 物語や登場キャラクタを忘れてしまう コミクエにおけるクイズとその答えから 漫画的特徴を考慮しつつ該当するシーンを推定 クイズの不正解時に，該当シーンを自動で 提示してくれることが読み返し支援としては 望ましい 推定手法 考察&展望 クイズ文章⇋各ページの漫画内要素から得ら れたテキスト情報における 単語のTFIDF値を 用いた文章間の類似度で推定 一意の推定精度は52.5% 分布が平均的に高い，第2, 3候補が答えとされる ことが要因のひとつ 読み返しを支援する手法について検討