スマートフォン上のスクリーンキャプチャ探索支援手法

スマートフォン上の スクリーンキャプチャ探索支援手法 p 前島紘希 (明治大学大学院 先端数理科学研究科) 阿部和樹 中村聡史(明治大学)

背景(スクリーンキャプチャの利用方法) • メモとして利用 - Webの情報

背景(スクリーンキャプチャの利用方法) • メモとして利用 • ライフログとして利用 - Webの情報 - ゲームの記録 - SNSでのやり取り © GREE, Inc

背景（スクリーンキャプチャの探索の難しさ） • 大量の画像から目的の画像を探すのは困難 ゲームのガチャの スクリーンキャプチャ ©TYPE-MOON / FGO PROJECT

背景(クラスタリングの必要性) • 探索が難しい理由 ‒大量の画像がただ並んでいるだけ • 手動でグループを作るのは手間がかかる 自動クラスタリングによる 探索支援

以前の研究(スクリーンキャプチャ画像の特徴) • 似た構図の画像が多い - 特定のアプリでの撮影が多い • 短い時間で連続撮影される - 一連の流れで保存(コマ撮り) スマートフォン上のスクリーンキャプチャ画像探索手法の提案[前島,2017]

以前の研究からの知見 • 連続撮影でのクラスタリングは探索には向 かない • 似た画像での探索は高評価 ‒精度はまだ高くない • うろ覚えでの探索のニーズ

背景(記憶の曖昧さ) • 撮影したスクリーンキャプチャの情報は 詳しく覚えていない 3人ぐらいいた気が… 文字数結構 あったと思う…

目的 スマートフォン上の スクリーンキャプチャ画像の 探索容易性の向上 • 領域分割による分類 • 顔の数による分類 • 文字数による分類

分類手法1：領域分割を用いた手法 • 画像を3領域に分割し，ヘッダ，フッタに 重みをつけて分類 ‒スマホのアプリで特徴的な領域 ‒類似画像での探索の精度向上

分類手法2：顔の数を用いた分類 • キャラクタ，アイコンを利用 ©2013 プロジェクトラブライブ！ ©2017 プロジェクトラブライブ！サンシャイン!! ©KLabGames ©bushiroad

分類手法2：顔の数を用いた分類 • 画像内のキャラクタの顔の数を計算 • ゲームアプリなどの画像の探索の手助けに ©DeNA Co.,Ltd

分類手法3：文字数を用いた分類 • テキストの量を利用 ©BANDAI NAMCO Entertainment Inc.

分類手法3：文字数を用いた分類 • 画像内のテキストの文字数をカウント • SNSなどの画像を容易に探索できるように ○○文字

プロトタイプシステム • 分類手法1〜3を 全て利用可能 • 複数の手法の 併用可能 • 実装：Processing

探索実験(実験概要) • 3種類の分類手法がどのように利用されるか， 探索行動がどのように変化するのかの調査 ‒分類なしでの提示と比較 • 実験協力者：9名(大学生，社会人) ‒500枚以上のスクリーンキャプチャを所持 • 自分の所持しているスクリーンキャプチャ 画像からの探索

探索実験 • 評価項目 ‒発見までにかかった時間 ‒以下の3項目について5段階のアンケート評価 ‒3種類の分類手法の使い方 ‒自由記述 • アンケート項目 ‒探索の難易度 ‒探した画像の満足度 ‒絞り込みをうまく使えたか

探索実験(目的ベースの探索タスク) • 記憶が曖昧な画像の探索 ‒以下のタスクに当てはまる画像の探索 ‒該当する画像を思い浮かべてもらってから探索 を行う ‒分類あり，分類なしでそれぞれ4回ずつ探索 最近の嬉しかった画像 最近の面白い画像 最近の後で使うために 撮影した画像 最近の悲しかった画像 昔の嬉しかった画像 昔の面白い画像 昔の後で使うために 撮影した画像 昔の悲しかった画像

探索実験(特定画像探索タスク) • 記憶が明確な画像を探索 ‒特定の画像を提示して，その画像の探索 ‒提示する画像は著者が選択 ‒分類あり，分類なしでそれぞれ4回ずつ探索

実験結果(分類の有無による比較) 目的ベース 探索時間 探索難易度 満足度 分類なし 1:58 -0.16 0.66 分類あり 2:21 0.50 0.77 特定画像 探索時間 探索難易度 分類なし 1:04 -0.05 分類あり 1:58 0.52 • 探索時間 • アンケート ：分類なし > 分類あり ：分類なし < 分類あり

実験結果(利用する探索手法の違い) 類似 顔の数 文字 探索回数 併用数 目的ベース 15.77 9.33 10.00 28.11 7.55 特定画像 8.22 14.88 13.55 29.88 6.44 • 目的ベース ：類似画像探索が多い • 特定画像 ：顔の数での探索が多い • 探索回数，併用数に大きな差はない

実験結果(利用する探索手法の違い) • 探索の際に最初に使われた手法の割合 類似 顔の数 文字数 目的ベース 0.33 0.36 0.27 特定画像 0.19 0.47 0.30 平均 0.26 0.41 0.29

実験結果(利用する探索手法の違い) • 探索の際に最初に使われた手法の割合 類似 顔の数 文字数 目的ベース 0.33 0.36 0.27 特定画像 0.19 0.47 0.30 平均 0.26 0.41 0.29 • 顔の数が多く使用されている

実験結果(利用する探索手法の違い) • 探索の際に最初に使われた手法の割合 類似 顔の数 文字数 目的ベース 0.33 0.36 0.27 特定画像 0.19 0.47 0.30 平均 0.26 0.41 0.29 • 顔の数が特に多い • 特定画像探索の際は類似による絞り込みが 少ない

実験結果(利用する探索手法の違い) • 探索の際に最後に使われた手法の割合 類似 顔の数 文字数 目的ベース 0.30 0.47 0.16 特定画像 0.08 0.52 0.36 平均 0.19 0.50 0.26

実験結果(利用する探索手法の違い) • 探索の際に最後に使われた手法の割合 類似 顔の数 文字数 目的ベース 0.30 0.47 0.16 特定画像 0.08 0.52 0.36 平均 0.19 0.50 0.26 • 顔の数が特に多い

実験結果(利用する探索手法の違い) • 探索の際に最後に使われた手法の割合 類似 顔の数 文字数 目的ベース 0.30 0.47 0.16 特定画像 0.08 0.52 0.36 平均 0.19 0.50 0.26 • 顔の数が特に多い • 目的ベースの際は文字数による絞り込みが 少ない • 特定画像探索の際は類似による絞り込みが 少ない

実験結果まとめ • 探索時間は分類なしの方が短い • アンケート結果は分類ありの方が良い • 探索タスクによって使われる手法に違いが あった • 探索の最初と最後に使用される手法に 違いがあった

考察 • 探索時間は分類なしの方が短い • ユーザへのアンケート結果は分類ありの方 が良い ‒ユーザは探索の時間よりも探索のしやすさを 重要視する ‒システムをさらに使っていくことで探索時間は 短縮される可能性あり

考察 • 目的ベースと特定画像探索で手法の使い 方に違いが出た ‒探す画像の曖昧さによる変化 目的ベース 特定画像

考察 • 顔の数による探索が多い ‒メモの画像は顔の数0で探索可能 • 特定画像探索タスクでは類似検索が少な い ‒顔の数，文字数に比べてクラスタの数が多い • 目的ベースの探索タスクは最後に文字数 検索が使われない ‒詳しいテキストの量は記憶されていない

ユーザの意見 • サイズでの分類が欲しい ‒縦のサイズ>横のサイズ 程度の分類 • 特定の画像からの探索がしたい

まとめ • 3種のスマートフォンのスクリーンキャプチャ 画像分類手法をプロトタイプシステムの実装 • 探索実験の実施 ‒アンケートの結果ユーザの満足度は高評価 [今後の展開] • 分類精度の向上 • 他の分類手法の実装 • スマートフォン上でのシステムの実装