主観写真ライフログ探索における撮影行動の利用可能性に関する検討

主観写真ライフログ探索における 撮影行動の利用可能性に関する検討 神山 拓史 (明治大学 総合数理学部 B3) 中村 聡史(明治大学 総合数理学部/JST CREST)

写真ライフログ ★ ユーザの日常を撮影し，データとして蓄積する行為 ✦ 主観的か客観的かの違いがある[中村，2013] 主観写真ライフログ 客観写真ライフログ

主観写真ライフログ ★ デジタルカメラやスマートフォンで行う ★ 撮影者のタイミングで撮影 ✦ 何のために撮影したかという意図が残る ✦ シャッターチャンスを逃すことも

客観写真ライフログ ★ 自動撮影するカメラを用いたライフログ ✦ SenseCam（30秒に1回自動撮影） ★ 1年間のライフログ[Gurrin，2008] ✦ 半分以上が作業中の写真 • • ブレ 手が入り込んでいる

写真ライフログ ★ ユーザの日常を撮影し，データとして蓄積する行為 ✦ 主観写真ライフログ ✦ 客観写真ライフログ • 撮影者目線 • 撮影者目線ではない • 撮影意図が残る • 撮影意図が残らない • 撮影しそびれることも • 意図せず撮られている • 後から活用しやすい • 後から活用しにくい

写真ライフログ ★ ユーザの日常を撮影し，データとして蓄積する行為 ✦ 主観写真ライフログ ✦ 客観写真ライフログ • 撮影者目線 • 撮影者目線ではない • 撮影意図が残る • 撮影意図が残らない • 撮影しそびれることも • 意図せず撮られている • 後から活用しやすい • 後から活用しにくい

久々に友人と会う 前回行った場所を忘れた 前回会った時の写真を探す

久々に友人と会う 前回行った場所を忘れた 前回会った時の写真を探す

明日のデートの服を決める 去年褒められてた服を探す 行った場所の写真から遡る

明日のデートの服を決める 去年褒められてた服を探す 行った場所の写真から遡る

写真ライフログの利便性 ✦ 昔の写真を振り返り過去を回想できる ✦ ある友人といつどこで会ったかを調べる ✦ デートの際に着ていた服を調べる

★ 神山の場合 保存期間: ２年半 ✦ 保存枚数: 約9500枚 ✦ ★ 中村の場合 保存期間: 17年 ✦ 保存枚数: 約30万枚 ✦

関連研究（1） ★ iPhoto, ✦ Google Photos 位置情報や顔認識を用いて探索可能 ★ MIAOW[五味 ✦ 2011] 日時，場所，人間同士の関係性を利用

関連研究（1） ★ iPhoto, ✦ Google Photos 位置情報や顔認識を用いて探索可能 ★ MIAOW[五味 ✦ 2011] 日時，場所，人間同士の関係性を利用 日時や場所や人物とは違う新たな探索軸が必要

関連研究（2） ★ kotoli[後藤 ✦ 撮影テンプレートによる構造化 ★ RICOH ✦ 2014] Caplio G3 model S [2003] 音声メモ機能により整理・探索を楽にする

関連研究（2） ★ kotoli[後藤 ✦ 撮影テンプレートによる構造化 ★ RICOH ✦ 2014] Caplio G3 model S [2003] 音声メモ機能により整理・探索を楽にする 手間をかけないアノテーションが必要

前回会った時の写真を探す 高校の卒業式の後日 カメラを構えて待っていた 撮影する際の無意識な行動や工夫⇒撮影行動

目的 ライフログ写真を死蔵させずに探索可能にしたい ★ 撮影行動を写真への無意識なアノテーションに ★ 撮影行動を思い出して，目的の写真を探索

探索イメージ 1. 日時や場所から写真を絞り込む

探索イメージ 2.1.どのくらい動いたのかを調節する 日時や場所から写真を絞り込む

探索イメージ 2.1.どのくらい動いたのかを調節する 日時や場所から写真を絞り込む 3. 写真を絞りこむ

検証方法 撮影時の行動でライフログ写真が探索できる ★ 予備検討 ✦ 撮影行動の類似性を検証 ★ 評価実験 ✦ どの値が探索に有効的なのかを調査

予備検討（1） ★ 撮影時のセンサ値と撮影された写真を残す プロトタイプシステムを約1ヶ月運用(250枚) ✦ iOS用カメラアプリをSwiftで実装 ✤ 起動している間，センサ値を取得 • • • 加速度(x, y, z軸) 角速度(x, y, z軸) 現在時刻 ✦ 撮影終了後にCSVファイルを保存

予備検討（2） ★ 写真と撮影時の加速度や角速度の変化を表し たグラフを提示した画像を出力し，類似した グラフを手作業で分類し，比較

３ 軸 を 合 成 し た 加 速 度 や 角 速 度 の 量 グラフ例 撮 影 タ イ ミ ン グ アプリ起動時からの経過時間

予備検討結果 [撮影後の動き]

予備検討結果 [撮影前の動き]

予備検討結果 ★ カメラの動かし方 ✦ シャッターを押した後は類似性が見られない ✦ シャッターを押すまでは類似性が見られた シャッターを押すまでの行動で 写真が探索できるのでは？

評価実験 シャッターを押すまでの行動で写真が探索できる？ ２週間の主観写真ライフログ ２週間空ける アンケート調査

アンケート内容 ★ 2週間後に撮影行動は思い出せるのかを調査 ✦ どのくらい時間をかけたか（5段階評価） ✦ どのくらい動いたのか（5段階評価） ✦ 予測の自信はどのくらいあるのか（5段階評価） ✦ どのような撮影行動を行ったのか (項目別・◯×)

実際にかかった時間(平均) 結果 [撮影までの時間] 撮影者が予測したかかった時間（評価） 小 大

実際にかかった時間(平均) 結果 [撮影までの時間] 撮影までの時間の予測は困難 撮影者が予測したかかった時間（評価） 小 大

結果 [動いた量] 実際の動きの量(平均) 動きの量：加速度と角速度の積分値を合成 撮影者が予測した動きの量（評価） 小 大

結果 [動いた量] 実際の動きの量(平均) 動きの量：加速度と角速度の積分値を合成 AとCと著者は動きの量の予測はできている BとDは動きの量の予測はできていない 撮影者が予測した動きの量（評価） 小 大

Bさんに関する考察（1） B" 動きの量(平均) 10" B" 8" 6" 4" 2" 0" 1" 2" 小 大 どのくらい動かしたかの評価値

Bさんに関する考察（2） 今後，長期間に渡るライフログ実験が必要

Dさんに関する考察（1） 動きの量(平均) D" 8" 7" 6" 5" 4" 3" 2" 1" 0" D" 1" 2" 小 3" 大 どのくらい動かしたかの評価値

Dさんに関する考察（1） 動きの量(平均) D" 8" 7" 6" 5" 4" 3" 2" 1" 0" D" 確信度の低さが原因では？ 1" 2" 小 3" 大 どのくらい動かしたかの評価値

Dさんに関する考察（2） ★ Dさんはほとんど動いておらず，アプリ起動時 からすぐ撮影したと予測 ★ 実際はかなり時間をかけ，動かして撮影してた

Dさんに関する考察（2） ★ Dさんはほとんど動いておらず，アプリ起動時 からすぐ撮影したと予測 ★ 実際はかなり時間をかけ，動かして撮影してた 48秒間

Dさんに関する考察（2） ★ Dさんはほとんど動いておらず，アプリ起動時 からすぐ撮影したと予測 ★ 実際はかなり時間をかけ，動かして撮影してた 飲酒時の撮影行動は思い出しにくい 48秒間

評価値とデータ値のギャップ ★ 本人はほとんど動いていないと予測 動 き の 量 経過時間

評価値とデータ値のギャップ ★ 本人はほとんど動いていないと予測 動 き の 量 乗り物上での認知とデータ値とのギャップ 経過時間

考察[グラフ] 考慮なし 考慮あり 9" 9" 8" 8" A" C" D" A" 7" 6" 動きの量(平均) 動きの量(平均) 7" B" 5" 4" 3" C" D" 6" 5" 4" 3" 2" 2" 1" 1" 0" B" 0" 1" 2" 3" 小 4" 1" 大 どのくらい動かしたかの評価値 2" 3" 小 4" 大 どのくらい動かしたかの評価値

行動タイプと動きの量の関係 A 暗い場合 B 暗くない場合 C D

考察[探索イメージ] 1. 日時や場所から写真を絞り込む

考察[探索イメージ] 1.2.日時や場所から写真を絞り込む 撮影行動のタイプを選択する

考察[探索イメージ] 1.2.日時や場所から写真を絞り込む 撮影行動のタイプを選択する 3. 写真を絞りこむ

まとめ ★ 主観的写真ライフログにおける撮影行動のア ノテーションを提案 ✦ 撮影行動での探索の有用性ついて検討した • • • かかった時間の予測は出来ていなかった 動きの量の予測は多少出来ていた 動きの量は行動のタイプ（暗さ・接写・覗 き込む）に関係している

今後の展望 ★ 評価実験の改善 ✦ 長期間の写真ライフログのデータセット ✦ 撮影行動のタイプに基づいた探索 • グラフ化した動きの量との相関性の調査 ★ 動きの量での探索と従来の探索の組み合わせ