メッセージ画面のスクリーンショットを用いた横断型返信忘れ防止手法の検討

メッセージ画面のスクリーンショットを 用いた横断型返信忘れ防止手法の検討 松山直人（明治大学 又吉康綱 総合数理学部 中村聡史 （明治大学） 4年）

返信忘れ あ

あ 橋本

橋本 橋本 橋本 橋本

橋本 橋本 返信忘れを防止する手法の提案 橋本 橋本

コミュニケーションツールの発展 • LINEを身近なユーザと気軽なやりとりに 使っている[若本 2016] • ビジネス利用を目的としたSNS コミュニケーションツールは さまざまな話題に対して使われている

サービスやチャンネルの乱立 サービスやチャンネルがたくさん存在する LINE バイトグループ LINE 友達グループ Twitter ダイレクト メッセージ Slack 研究室 グループ

サービスやチャンネルの乱立 サービスやチャンネルがたくさん存在する Twitter LINE 返信すべきメッセージが見つからず、 ダイレクト バイトグループ メッセージ 返信を忘れてしまうといった問題が生じる LINE 友達グループ Slack 研究室 グループ

記憶の外在化や再通知 • リマインダ等による記憶の外在化 →「〇〇に返事をする」ことは わざわざリマインダに登録しない • 再通知を行う手法[笠井ら 2007] →たくさん通知が溜まった際に 全ての通知を把握できない 可能性がある

記憶の外在化や再通知 • リマインダ等による記憶の外在化 →「〇〇に返事をする」ことは わざわざリマインダに登録しない 様々なツールにおける返信すべきメッセージを • 再通知を行う手法 [笠井ら 2007] 横断的に把握できるようにすべき →たくさん通知が溜まった際に 全ての通知を把握できない 可能性がある

関連研究 画像を用いた記憶想起 • 画像がタスクを想起させるためのトリガとして 十分に機能し，想起しやすい画像がタスクへの モチベーションを高められることを明らかにした [松田 2019]

メッセージ画像に着目 • メッセージが提示される画面 • 会話をやりとりする画面 →メッセージ画面と定義 →そのスクリーンショットをメッセージ画像とする

メッセージ画像の提示方法 そのまま縮小 画像が小さすぎて、 閲覧性や想起しやすさが下がる

関連研究 サムネイル化に関する研究 • たくさんの画像を羅列する際にサムネイル化する研究 • テキスト情報から重要語を抽出し提示することで、 縮小時の読みにくさを改善した研究[Lam 2005] • Webページ中のロゴ画像とタイトル、最も目立つ画像 を抽出し、サムネイルを自動生成する手法 [Teevan 2009]

関連研究 サムネイル化に関する研究 • たくさんの画像を羅列する際にサムネイル化する研究 • テキスト情報から重要語を抽出し提示することで、 縮小時の読みにくさを改善した研究[Lam 2005] • Webページ中のロゴ画像とタイトル、最も目立つ画像 メッセージ画像の要素を抽出し サムネイルを自動生成する手法 を抽出し、 [Teevan 2009]サムネイル化することで、 返信すべきメッセージを探しやすくなるのでは

目的 メッセージ画像内の要素を用いた、 一覧性が高く、返信することを想起させやすい 手法の提案 • どのような手法が想起しやすいかの調査 • 画像が小さくなる状況においても有用である手法の検討

提案手法 • メッセージ画像における重要な要素として 「トーク相手のアイコン画像」「メッセージテキスト」に着目

提案手法 • メッセージ画像における重要な要素として 「トーク相手のアイコン画像」「メッセージテキスト」に着目 • 多くのサービスに共通する要素 • アイコン画像からトーク相手が想起可能

提案手法 アイコン名詞手法 • アイコン画像 ＋トーク相手の名詞 • 重要語として名詞を抽出 アイコン メッセージ手法 • アイコン画像 ＋最後のメッセージの一部 • 最後のメッセージが 記憶に残っている可能性

実験 目的 画像が小さくなる状況における 想起しやすい画像の生成手法の調査 • メッセージに関する情報 （サービス名，グループ名と相手の名前， 相手との関係性，前提条件，聞かれていること） を記憶する • サムネイルを数種類提示し，記憶した項目を想起する • 実験協力者：16名（男性8名、女性8名）

実験 • 架空のメッセージ画像を25種類用意 • 実験協力者ごとに実データを用意することは困難 • 記憶の定着を図るために、記憶タスクを2回行う 1日目 2日目 3日目 相手の名前：高橋 間柄：学会の人 etc… 想起タスク 想起タスク x25枚分 記憶タスク 記憶タスク 事後アンケート

実験：提示手法 提案手法 アイコン名詞手法 アイコン メッセージ手法 比較手法 元画像 加工なし （そのまま縮小） 中央トリミング 手法 文字のみ

実験：使用したサービス メッセンジャー アプリ LINE Twitter Gmail iOSメール メールアプリ Slack

実験：トークテーマ カジュアル 友人からの依頼 友人と遊びの約束 フォーマル バイト先からの連絡 教授からの進捗確認 家族からの依頼

実験：記憶タスク

実験：記憶タスク

実験：記憶タスク

実験：想起タスク 自由記述のアンケート • サービス名 • グループ名／相手の名前 • 相手との関係性 • 前提条件 • 聞かれていること （メッセージの内容） • 上記以外で覚えていること 7段階評価のアンケート • メッセージが思い出しやすかっ たか • 画像は見やすかったか

結果（平均点）

結果（平均点） 加工なしはどの手法よりも 思い出す要素が少ない傾向があった

結果（平均点）

結果（平均点）

結果（平均点） 文字のみのものより，画像要素を用いたものが 思い出す要素の数が多い

結果（平均点）

結果（平均点）

結果（平均点） 中央トリミング手法（比較手法） が思い出す要素が多い傾向にあった

結果（思いだしやすさ）

結果（思いだしやすさ）

結果（思いだしやすさ） 中央トリミング手法（比較手法） が主観的に思い出しやすい傾向にあった

結果（見やすさ）

結果（トークテーマ間）

結果（トークテーマ間）

結果（トークテーマ間） カジュアルな場面では中央トリミング手法、 フォーマルな場面ではアイコン画像＋テキスト が高い傾向にあった

考察 文字のみは思い出す要素が少なかった • 「UIがちょっと画像に含まれていると何のSNSを使っている かわかりやすかった」 • 「アイコンの形と文字列の背景がねずみ色か白色かなど がヒントとなる」

考察 加工なしは思い出す要素が少なかった • 画像が小さかったために解像度が下がり、 視認できなかった 解像度が低く、視認しづらい 一度に閲覧可能な 数が少ない

考察 加工なしは思い出す要素が少なかった • 画像が小さかったために解像度が下がり、 視認できなかった 加工なしは想起手法として適していない 解像度が低く、視認しづらい 一度に閲覧可能な 数が少ない

考察 • 中央トリミング手法は思い出す要素が多かった • 画像の大きさが、文字を視認できる範囲であった • 特徴的な画像が含まれており、その画像が記憶に 残っていた

考察 • 中央トリミング手法は思い出す要素が多かった • 画像の大きさが、文字を視認できる範囲であった • 特徴的な画像が含まれており、その画像が記憶に 残っていた アイコン画像に加え、 特徴的な画像も拡大して提示することで、 想起しやすい画像を生成することができるのでは？

考察：トークテーマ間 • カジュアルなもの →中央トリミング手法 • フォーマルなもの →アイコン名詞手法／アイコンメッセージ手法

考察：トークテーマ間 • カジュアルなもの →中央トリミング手法 • フォーマルなもの →アイコン名詞手法／アイコンメッセージ手法 カジュアルなもの • 画像全体に話題が 広がっている • 中央トリミング手法では、 ぎりぎり文字が視認できて いた

考察：トークテーマ間 • カジュアルなもの →中央トリミング手法 • フォーマルなもの →アイコン名詞手法／アイコンメッセージ手法 フォーマルなもの • 始めに用件が述べられて いる • 特徴的な名詞が多い • 文字が認識しやすい

考察：トークテーマ間 • カジュアルなもの →中央トリミング手法 • フォーマルなもの →アイコン名詞手法／アイコンメッセージ手法 フォーマルな場面において、 アイコン画像とメッセージの一部や特徴的な語 を抽出する手法が有用である可能性

考察 • 中央トリミング手法についての議論 • 並べた際の一覧性 • 画像サイズがさらに小さくなった際に 想起できるか →今後調査する必要がある

考察：実験について • 各画像における評価者の最大人数が4人 • 個人による影響が大きかった？ • 人数を増やして再実験 • 重要語を名詞として定義 • トークテーマにあまり関係ないワード • 抽出されたワード数が極端に少ない • 動詞や形容詞、またはメッセージ画像内の頻出語の 抽出などの検討

考察：実験について • 架空のメッセージ画像を使用している • アイコン画像と相手の名前が紐づいていなかった 高橋 鈴木 教授 アイコン画像と名前を紐づけるタスクや 実際のメッセージ画像を用いる必要がある

システムのイメージ図 メッセージ画像を自動取得したのち、 サムネイルを自動生成し、提示するシステム スクリーンショットを 撮る メッセージ画像の スクリーンショット検出 サムネイル化し、 羅列するシステム

まとめ • メッセージ画像をサムネイル化し、 横断的に返信を想起できる手法の提案 • 思い出す要素数や主観的な思い出しやすさにお いて、中央トリミング手法（比較手法）が高い • フォーマルな場面において、アイコン画像と テキストの一部が有用である可能性が示唆 今後の展望 • 実際のメッセージ画像を用いた検証 • システムの実装

メッセージ画像：LINE/Twitter

メッセージ画像：Slack

メッセージ画像：Gmail/iOSメール