SIGHCI「文章作成時の視線分析に基づく読み返しを促す視線誘導手法の提案」

文章作成時の視線分析に基づく 読み返しを促す視線誘導手法の提案 明治大学 総合数理学部 学部4年 福地 翼 中村 聡史

1. 背景 文章作成を求められる機会や行う機会はとても多い 手紙やSNS コミュニケーションを目的とした文章 論文や報告書 情報の共有や伝達を目的とした文章

1. 背景 文章作成を求められる機会や行う機会はとても多い 手紙やSNS コミュニケーションを目的とした文章 論文や報告書 情報の共有や伝達を目的とした文章 文章の質が求められ、作成の難易度が高い

1. 背景

1. 背景

1. 背景 文章作成の機会は多く、文章能力の向上への需要は高い

1. 背景 関連する研究およびツール Word [Microsoft 2016] 誤字や表記ゆれの指摘 係り受けの複雑さの指標に基づく 文の書き換え候補の生成と推敲支援への応用[横林 2004] 文構造ミスの指摘 文章推敲支援における読み手に誤解される文の抽出 [菅 2007] 表現ミスの指摘

1. 背景 問題 機械的に検出可能な文単位での単純ミスの指摘 全文の俯瞰を要するミスの修正が難しい 書き手の修正が受動的 書き手の成長が少ない 書き手に成長を促す、文章作成支援を実現したい

2. 提案 文章作成時のふるまい 編集行動のふるまい 1 箇条書きによる内容の整理 視線行動のふるまい 2 記述文章の黙読による内容確認 1. 2. Daneman, M. and Green, I.. Individual differences in comprehending and producing words in context. Journal of Memory and Language, vol. 25, 1986, p. 1-18. Alamargot, D. and Chanquoy, L.. Through the models of writing, Kluwer Academic Press, 2001.

2. 提案 文章作成時のふるまい 編集行動のふるまい 1 箇条書きによる内容の整理 文章の見直しや全体を俯瞰した内容確認のための行為 視線行動のふるまい 2 記述文章の黙読による内容確認 1. 2. Daneman, M. and Green, I.. Individual differences in comprehending and producing words in context. Journal of Memory and Language, vol. 25, 1986, p. 1-18. Alamargot, D. and Chanquoy, L.. Through the models of writing, Kluwer Academic Press, 2001.

2. 提案 手法 文章作成時のふるまいを補助する文章作成支援 文章を俯瞰する機会を増やす 既存手法では気付きにくいミスの発見を促進 書き手自身による内容確認の機会を増やす 能動的なミスの発見を促進でき、成長を促せる

2. 提案 Eye and Pen A new device for studying reading during writing 書き手の文章能力と視線行動との関連性を示唆 読み返し ... 過去の文章に戻って内容や全体の流れを確認する視線行動 1. Daneman, M. and Green, I.. Individual differences in comprehending and producing words in context. Journal of Memory and Language, vol. 25, 1986, p. 1-18.

2. 提案 Eye and Pen A new device for studying reading during writing 書き手の文章能力と視線行動との関連性を示唆 読み返し ... 過去の文章に戻って内容や全体の流れを確認する視線行動 読み返しを矯正することで文章作成力の向上が可能になる 1. Daneman, M. and Green, I.. Individual differences in comprehending and producing words in context. Journal of Memory and Language, vol. 25, 1986, p. 1-18.

3. 事前調査 不明確な点 読み返しを行う適切なタイミング 具体的にどういった読み返しが文章と関連しているか

3. 事前調査 不明確な点 読み返しを行う適切なタイミング 具体的にどういった読み返しが文章と関連しているか 読み返しの種類や回数と文章の質との関係性を調査

3. 事前調査 調査項目 文章評価と読み返し回数や種類の相関関係 人数：9人 課題：文章作成 ... 立場を選択して意見を文書化（テーマを3つ用意） 時間：準備時間（10分） + 作成時間（30分） 視線検出：Tobii EyeX

3. 事前調査 実験設計 読み返しのタイプを3つ定義 短い読み返し 長い読み返し① 長い読み返し②

3. 事前調査 実験設計 読み返しのタイプを3つ定義 短い読み返し

3. 事前調査 実験設計 読み返しのタイプを3つ定義 長い読み返し①

3. 事前調査 実験設計 読み返しのタイプを3つ定義 長い読み返し②

3. 事前調査 評価指標 主観指標 1 - 田島らの研究から7つ指標を用意 「構造」「統一」「適切」「正確」「簡潔」「一貫」「明確」 客観指標 2 - Cabochaの係り受けの結果を参考に、5つ指標を用意 「相互」「飛躍」「太さ」「広さ」「深さ」 1. 2. 田島ますみ. 日本語の文章に対する分析的評価の信頼性に関しての検証, 中央学院大学人間・自然論叢, vol. 31, 2010, p. 85-104. 横林博, 菅沼明, 谷口倫一郎. 係り受けの複雑さの指標に基づく文の書き換え候補の生成と推敲支援への応用, 情 報処理学会論文誌, vol. 45, no. 5, 2004, p. 1451-1459.

3. 事前調査 実験設計 課題の設計 ① 「Web」と「テレビ」どちらの情報源をより信頼してい ますか？理由を挙げて意見を述べよ． 予め立場を選択させる、小論文形式の課題を3つ設定

3. 事前調査 実験設計 実験手順 ① 着席した実験協力者は視線検出器のキャリブレー ションを行う． ② 実験監督者から作成する文章の題材を提示され，作 成する文章の構成について10分間で考える． ③ 与えられた題材について700文字前後の文章を30分 間で作成する．

3. 事前調査 読み返しの傾向 長い読み返し② ＜ 長い読み返し① ＜ 短い読み返し 短い読み返し ⇒ 文章作成の序盤に多い 長い読み返し① ⇒ 特徴的な傾向は見られなかった 長い読み返し② ⇒ 文章作成の終盤に増加

3. 事前調査 高スコア者と低スコア者の比較 Long read back Short read back 20 number of times 50 40 30 20 10 15 10 5 0 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 0 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 number of times 60 timelapse[m] timelapse[m] low score high score low score high score 変化の仕方は同じだが高スコア者の方が増加率が高い

3. 事前調査 読み返しと主観評価 適切 簡潔 明確 一貫 統一 正確 構成 合計 0.5988 0.2099 0.7379 0.4875 短い読み返し 0.2899 -0.3042 0.5515 -0.4077 長い読み返し① 0.2243 -0.4344 0.3321 -0.4357 -0.0239 -0.4630 0.3057 -0.0168 0.5541 -0.1892 0.7754 長い読み返し② -0.4747 0.7116 0.7711 0.5014 0.7082

3. 事前調査 読み返しと主観評価 適切 簡潔 短い読み返し 0.2899 -0.3042 長い読み返し① 0.2243 -0.4344 長い読み返し② -0.4747 短い読み返し 0.7116 明確 一貫 0.5515 -0.4077 統一 正確 0.5988 0.2099 0.3321 -0.4357 -0.0239 -0.4630 0.5541 -0.1892 0.7711 0.5014 構成 0.7379 合計 0.4875 0.3057 -0.0168 0.7754 0.7082 ⇒ 主張の明確，文体の統一感，文章構成の正しさと正の相関 長い読み返し① ⇒ 全体的に負の相関 長い読み返し② ⇒ 短い読み返しの項目＋文章の簡潔さ，文章の正確さと正の相関

3. 事前調査 読み返しと客観評価 相互 太さ 広さ 飛躍 深さ 短い読み返し 0.5906 0.3632 0.0645 0.7182 0.3243 長い読み返し① 0.0441 0.0729 -0.2236 -0.0274 -0.3308 長い読み返し② 0.6960 0.2762 0.2729 0.6034 0.1423

3. 事前調査 読み返しと客観評価 相互 太さ 広さ 飛躍 深さ 短い読み返し 0.5906 0.3632 0.0645 0.7182 0.3243 長い読み返し① 0.0441 0.0729 -0.2236 -0.0274 -0.3308 長い読み返し② 0.6960 0.2762 0.2729 0.6034 0.1423 短い読み返し ⇒ 単語間の相互性や飛躍と正の相関 長い読み返し① ⇒ 相関を示す項目が特にみられない 長い読み返し② ⇒ 単語間の相互性や飛躍と正の相関

3. 事前調査 まとめ 長い読み返し②と短い読み返しが文章の質の一部と正の相関 長い読み返し②に正の相関を示す項目が多かった 文章の構造に関する評価と強い正の相関を示していた 長い読み返し①は相関を示す項目がなかった

3. 事前調査 まとめ 長い読み返し②と短い読み返しが文章の質の一部と正の相関 長い読み返し②に正の相関を示す項目が多かった 長い読み返し②が文章作成において重要 文章の構造に関する評価と強い正の相関を示していた 長い読み返し①は相関を示す項目がなかった

3. 事前調査 まとめ 長い読み返し②と短い読み返しが文章の質の一部と正の相関 長い読み返し②に正の相関を示す項目が多かった 長い読み返し②が文章作成において重要 文章の構造に関する評価と強い正の相関を示していた 読み返しによる内容確認が文章構造に影響 長い読み返し①は相関を示す項目がなかった

3. 事前調査 まとめ 長い読み返し②と短い読み返しが文章の質の一部と正の相関 長い読み返し②に正の相関を示す項目が多かった 長い読み返し②が文章作成において重要 文章の構造に関する評価と強い正の相関を示していた 読み返しによる内容確認が文章構造に影響 長い読み返し①は相関を示す項目がなかった 読み返しの種類によって影響が異なる

4. プロトタイプシステム 手法 文章作成時のふるまいを補助する文章作成支援手法

4. プロトタイプシステム 手法 文章作成時のふるまいを補助する文章作成支援手法 事前調査 読み返しの回数が文章の質に正の相関をもっている ＝文章を確認・俯瞰する機会が多いためミスに気づきやすい

4. プロトタイプシステム 手法 文章作成時のふるまいを補助する文章作成支援手法 事前調査 読み返しの回数が文章の質に正の相関をもっている ＝文章を確認・俯瞰する機会が多いためミスに気づきやすい 視線誘導によって読み返しを補助する文章作成支援

4. プロトタイプシステム

4. プロトタイプシステム １ 読み返しのリアルタイム検出 ２ 視線誘導の有無を決定 ３ 視線の誘導

4-1. 読み返しのリアルタイム検出 読み取り行動の抽出 1 Fixation-Saccade判定 を行った注視点に対して 視点移動が右に水平なものを読み取りとして検出 1. Buscher, G. and Dengel, A.. Gaze-based filtering of relevant document segments, In Workshop on Web Search Result Summarization and Presentation. Workshop on Web Search Result Summarization and Presentation (WSSP-2009), located at in conjunction with WWW, vol. 9, 2009, p. 20-24.

4-1. 読み返しの検出 読み取りの視線移動の距離、消費時間に閾値を設けて検出 短い読み返し 長い読み返し② Ｙ軸：短い Ｙ軸：長い 時間：短い 時間：長い

0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 5.5 6 6.5 7 7.5 8 8.5 9 9.5 10 10.5 11 11.5 12 12.5 13 13.5 14 14.5 15 15.5 16 16.5 17 17.5 18 18.5 19 19.5 20 20.5 21 21.5 22 22.5 23 23.5 24 24.5 25 25.5 26 26.5 総回数[個] 4-2. 視線誘導のタイミング決定 経過時間における読み返し回数のモデルを作成 60 50 短い読み返し 40 30 20 長い読み返し 10 0 経過時間[分]

0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 5.5 6 6.5 7 7.5 8 8.5 9 9.5 10 10.5 11 11.5 12 12.5 13 13.5 14 14.5 15 15.5 16 16.5 17 17.5 18 18.5 19 19.5 20 20.5 21 21.5 22 22.5 23 23.5 24 24.5 25 25.5 26 26.5 総回数[個] 4-2. 視線誘導のタイミング決定 経過時間における読み返し回数のモデルを作成 60 経過時間における 読み返しの増加率を計算 50 短い読み返し 40 30 20 長い読み返し 10 0 経過時間[分]

40 0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 5.5 6 6.5 7 7.5 8 8.5 9 9.5 10 10.5 11 11.5 12 12.5 13 13.5 14 14.5 15 15.5 16 16.5 17 17.5 18 18.5 19 19.5 20 20.5 21 21.5 22 22.5 23 23.5 24 24.5 25 25.5 26 26.5 総回数[個] 4-2. 視線誘導のタイミング決定 経過時間における読み返し回数のモデルを作成 60 経過時間における 読み返しの増加率を計算 50 短い読み返し 増加率を文章評価の高い人に近似させるように決定 30 20 長い読み返し 10 0 経過時間[分]

4-3. 視線誘導 視線誘導 振動体、回転体が存在する場合に視線が誘導されやすい 低解像度内の高解像度箇所に視線が誘導されやすい エッジの強調された物体に視線が誘導されやすい 1. 2. 3. Bailey, R., McNakara, A., Sudarsanam, N. and Grimm, C.. Subtle Gaze Direction, ACM Trans. Graphics (TOG), vol. 28, Issue 4 2009 萩原愛子, 杉本晃宏, 川本一彦. 注視誘導のための視覚的顕著性に基づく画像加工, 研究報告コンピュータビジョ ンとイメージメディア, vol. 2011-CVIM-177, no. 5, 2011, p. 1-8. 東佳代, 小池秀樹. エッジ情報の多いコンテンツに対する自然な視線誘導の提案, Workshop on Interactive Systems and Software 2017(WISS 2017), 2017, p. 29-34. 3 2 1

4-3. 視線誘導 視線誘導 振動体、回転体が存在する場合に視線が誘導されやすい 低解像度内の高解像度箇所に視線が誘導されやすい エッジの強調された物体に視線が誘導されやすい 1. 2. 3. Bailey, R., McNakara, A., Sudarsanam, N. and Grimm, C.. Subtle Gaze Direction, ACM Trans. Graphics (TOG), vol. 28, Issue 4 2009 萩原愛子, 杉本晃宏, 川本一彦. 注視誘導のための視覚的顕著性に基づく画像加工, 研究報告コンピュータビジョ ンとイメージメディア, vol. 2011-CVIM-177, no. 5, 2011, p. 1-8. 東佳代, 小池秀樹. エッジ情報の多いコンテンツに対する自然な視線誘導の提案, Workshop on Interactive Systems and Software 2017(WISS 2017), 2017, p. 29-34. 3 2 1

4-3. 視線誘導 視線誘導 誘導したい方向に誘導体を表示 1. Bailey, R., McNakara, A., Sudarsanam, N. and Grimm, C.. Subtle Gaze Direction, ACM Trans. Graphics (TOG), vol. 28, Issue 4 2009

4. プロトタイプシステム

5. 利用実験 目的 読み返し検出の精度確認とシステムの検証 人数：4人 課題：文章作成 ... 立場を選択して意見を文書化（テーマを3つ用意） 時間：準備時間（10分） + 作成時間（30分） 視線検出：Tobii EyeX

5. 利用実験 結果 読み返し検出の精度 実験協力者 前回評価→今回評価 短い読み返し/検出数 長い読み返し/検出数 被誘導数/誘導数 A 19→20 35/48 3/ 8 1/49 B 23→25 72/83 17/18 9/30 C 18→18 57/69 7/ 4 7/42 D 29→24 57/63 13/ 9 5/43

5. 利用実験 結果 読み返し検出の精度 実験協力者 前回評価→今回評価 短い読み返し/検出数 長い読み返し/検出数 被誘導数/誘導数 A 19→20 35/48 3/ 8 1/49 B 23→25 72/83 17/18 9/30 C 18→18 57/69 7/ 4 7/42 D 29→24 57/63 13/ 9 5/43

5. 利用実験 結果 読み返し検出の精度 読み返しを過剰に検出 短い読み返し/検出数 長い読み返し/検出数 実験協力者 前回評価→今回評価 被誘導数/誘導数 A 19→20 35/48 3/ 8 1/49 B 23→25 72/83 17/18 9/30 C 18→18 57/69 7/ 4 7/42 D 29→24 57/63 13/ 9 5/43

5. 利用実験 結果 読み返し検出の精度 実験協力者 前回評価→今回評価 短い読み返し/検出数 長い読み返し/検出数 被誘導数/誘導数 A 19→20 35/48 3/ 8 1/49 B 23→25 72/83 17/18 9/30 C 18→18 57/69 7/ 4 7/42 D 29→24 57/63 13/ 9 5/43

5. 利用実験 結果 読み返し検出の精度 個人差がみられた 長い読み返し/検出数 被誘導数/誘導数 35/48 3/ 8 1/49 23→25 72/83 17/18 9/30 C 18→18 57/69 7/ 4 7/42 D 29→24 57/63 13/ 9 5/43 実験協力者 前回評価→今回評価 短い読み返し/検出数 A 19→20 B

5. 利用実験 結果 読み返し検出の精度 実験協力者 前回評価→今回評価 短い読み返し/検出数 長い読み返し/検出数 被誘導数/誘導数 A 19→20 35/48 3/ 8 1/49 B 23→25 72/83 17/18 9/30 C 18→18 57/69 7/ 4 7/42 D 29→24 57/63 13/ 9 5/43

5. 利用実験 結果 読み返し検出の精度 一割程度の誘導効果 被誘導数/誘導数 実験協力者 前回評価→今回評価 短い読み返し/検出数 長い読み返し/検出数 A 19→20 35/48 3/ 8 1/49 B 23→25 72/83 17/18 9/30 C 18→18 57/69 7/ 4 7/42 D 29→24 57/63 13/ 9 5/43

5. 利用実験 システムの精度 短い読み返しを過剰に検出 長い読み返しの検出精度に個人差 一割程度の誘導効果

5. 利用実験 システムの精度 短い読み返しを過剰に検出 検出条件の閾値設定を変更する必要あり 長い読み返しの検出精度に個人差 一割程度の誘導効果

5. 利用実験 システムの精度 短い読み返しを過剰に検出 検出条件の閾値設定を変更する必要あり 長い読み返しの検出精度に個人差 個人の視線移動に合わせたアルゴリズム調整が必要 一割程度の誘導効果

5. 利用実験 システムの精度 短い読み返しを過剰に検出 検出条件の閾値設定を変更する必要あり 長い読み返しの検出精度に個人差 個人の視線移動に合わせたアルゴリズム調整が必要 一割程度の誘導効果 必要以上に視線誘導を行っていた可能性 視線誘導の方法が適切ではなかった

6. まとめ 読み返しと文章能力の関係性調査 文章の構造と読み返しが正の相関を示した 読み返しを促す文章作成支援手法の提案と実装 誘導はできたがその影響は弱い 今後の展望 読み返しと作成文章との関係性を追加調査 プロトタイプシステムの改良と有用性の調査