印象に関する検索意図を考慮したサムネイル動画自動生成手法の提案

印象に関する検索意図を 考慮したサムネイル動画 自動生成手法の提案 前島 紘希(明治大学 総合数理学部B3) 中村 聡史(明治大学 総合数理学部) 土屋 駿貴(明治大学 総合数理学部B3) 大野 直紀(明治大学 総合数理学部B3)

背景（インターネット上の動画数） • 動画共有サイトの普及 ‒YouTube，ニコニコ動画など • 膨大な量の動画数 約1300万件

背景（検索の難しさ） • 自分が見たいと思う動画を探したい ‒検索画面の情報は静的な情報しかなく， 内容の理解が困難 ‒候補の動画を一つ一つ見るには時間を 必要とする 検索の難しさを解消するには 短時間で内容が意図に沿っているか という判断ができる動画が必要

関連研究 • 検索目的に応じたスニペット生成[高見2008] ‒動画を対象としていない • 音楽動画のサビ部分と動画に付与された コメントの量と感情を用いてサムネイル動画 を抽出する研究[中村 2014] ‒この研究の手法では感情をひとまとめに しており検索意図にあっていない

サムネイル動画抽出の手法 • 音響的特徴 ‒サビ部分の特定 • 映像的特徴 ‒内容の視覚的理解 • コメント ‒ユーザによる動画への印象の評価

目的 コメントを利用して検索意図に対応する 印象に対しサムネイル動画(15秒)を生成 し，それを動画検索の支援に利用する • 印象ごとの単語辞書の作成 • 単語辞書を利用したサムネイル動画生成

検索意図 初音ミク かっこいい VOCALOID 泣ける 鏡音レン なつかしい BGM 集中できる 印象語

投稿されるコメントの傾向の分析 印象が強調される部分に 現れるコメントの分析が必要 かっこいい 泣ける

印象評価データセット[大野 2015] • 500曲の楽曲動画のサビ 部分に対して8軸の印象 軸の評価を3人の評価者 が行ったものを平均して 評価値とする • 評価値はそれぞれの 印象について-2～+2の 5段階 C1 堂々 C2 元気が出る C3 切ない C4 激しい C5 滑稽 C6 かわいい Valence 楽しい，悲しい Arousal 積極的，消極的

特徴的な単語の抽出方法 • 8つの評価軸のそれぞれに対して評価値1 以上の動画集合(Positive集合)と評価値-1 以下の動画集合(Negative集合)を作る． Negative集合 ‐2 ‐1 Positive集合 0 1 2

特徴的な単語の抽出方法 • それぞれの評価軸のPositive集合， Negative集合に対して単語のDF値を計算し， その差を単語のスコアとする． ‒DF値：単語がどれだけの動画内で共通して使 われているかを示す割合 Positive集合の DF値 － Negative集合 のDF値 ＝ 単語のスコア

特徴的な単語の抽出方法 • それぞれの印象についてスコアが0.2以上 の単語，0.1以上0.2未満の単語，0.1未満の 単語に分類する． スコア0.2以上 特に特徴的な単語 スコア 0.1以上0.2未満 特徴的な単語 スコア0.1未満 特徴のない単語

各印象の特に特徴的な単語 C1(堂々) かわいい，www C2(元気が出る) かわいい，www C3(切ない) かっこいい，綺麗 C4(激しい) かっこいい，声 C5(滑稽) www，中毒 C6(かわいい) かわいい，萌え Valence(楽しい，悲しい) かっこいい，サビ Arousal(積極的，消極的) かわいい C5(滑稽)は「www」や「中毒」を抽出に 使えそうだが「かわいい」「かっこいい」は 印象軸の区別をつけるのが困難

各印象の特徴的な単語 C1(堂々) 最高，アニメ，萌え，嫁，love，愛，幸せ，楽しい，大好き， 天使，さわやか，結婚 C2(元気が出る) 萌え，さわやか，歌，絵，アニメ，嫁，love，元気，天使，幸 せ，夏，青春，恋 C3(切ない) 鳥肌，調教，声，イケレン C4(激しい) ギター，希望，鳥肌，イラスト，ベース C5(滑稽) 面白い，意味，かわいい，楽しい，センス，シュール，怖い， ひどい，市場，カオス，不思議 C6(かわいい) 歌，www，アニメ，さわやか，嫁，絵，泣ける，恋 Valence(楽しい，悲しい) www，ギター，PV，中毒，絵 Arousal(積極的な，消極 的な) www，萌え，元気，さわやか，アニメ，普通，ミク 特に特徴的な単語が「かわいい」のグループ の中ではあまり大きな差は見られなかった

各印象の特徴的な単語 C1(堂々) 最高，アニメ，萌え，嫁，love，愛，幸せ，楽しい，大好き， 天使，さわやか，結婚 C2(元気が出る) 萌え，さわやか，歌，絵，アニメ，嫁，love，元気，天使，幸 せ，夏，青春，恋 C3(切ない) 鳥肌，調教，声，イケレン C4(激しい) ギター，希望，鳥肌，イラスト，ベース C5(滑稽) 面白い，意味，かわいい，楽しい，センス，シュール，怖い， ひどい，市場，カオス，不思議 C6(かわいい) 歌，www，アニメ，さわやか，嫁，絵，泣ける，恋 Valence(楽しい，悲しい) www，ギター，PV，中毒，絵 Arousal(積極的な，消極 的な) www，萌え，元気，さわやか，アニメ，普通，ミク

各印象の特徴的な単語 C1(堂々) 最高，アニメ，萌え，嫁，love，愛，幸せ，楽しい，大好き， 天使，さわやか，結婚 C2(元気が出る) 萌え，さわやか，歌，絵，アニメ，嫁，love，元気，天使，幸 せ，夏，青春，恋 C3(切ない) 鳥肌，調教，声，イケレン C4(激しい) ギター，希望，鳥肌，イラスト，ベース C5(滑稽) 面白い，意味，かわいい，楽しい，センス，シュール，怖い， ひどい，市場，カオス，不思議 C6(かわいい) 歌，www，アニメ，さわやか，嫁，絵，泣ける，恋 Valence(楽しい，悲しい) www，ギター，PV，中毒，絵 Arousal(積極的な，消極 的な) www，萌え，元気，さわやか，アニメ，普通，ミク 特に特徴的な単語が「www」だったグループ では固有の単語が特に多く出現していた

サムネイル動画自動生成 • コメントを取得 • 印象推定のための辞書生成 ‒形態素解析 ‒トリグラム • 辞書とのマッチング • マッチングした単語が 含まれるコメントが 頻出する15秒を抽出

辞書生成手法 • 「形態素解析」による辞書生成 ミクかわいい ミク / かわいい • 「トリグラム」による辞書生成 ミクかわいい ミクか / クかわ / かわい / わいい

評価実験 • 評価者：男子大学生3名 • 各印象軸ごとに5曲，合計80曲のサムネイル 動画について-2～+2の5段階で評価 • 各印象軸ごとの結果を平均してスコアとする

結果 C1 形態素解析 -0.067 トリグラム 0.333 C2 C3 C4 C5 C6 V A 平均 0 0.133 0.400 -0.133 0.800 -0.600 0 0.067 0.467 -0.400 1.000 0.667 -0.800 0.400 0.133 0.225 • 形態素解析のC6(かわいい)，トリグラムの C4（激しい）では高い値が出ていた • C5(滑稽)，C6(かわいい)，Valence(激しい) では2手法での差が特に大きい ‒ 各印象軸ごとに適している手法が存在する

うまく生成できた例 C4(激しい) C6(かわいい) http://www.nicovideo.jp/watch/sm11183729

• http://www.nicovideo.jp/watch/sm11183729

うまく生成できなかった例 抽出してほしい箇所 C5(滑稽)で自動 生成されたもの http://www.nicovideo.jp/watch/sm4189459

• http://www.nicovideo.jp/watch/sm4189459

まとめ • 動画検索支援の手法としてサムネイル動画を 提案 • 2種類のサムネイル動画自動生成手法の提案 • サムネイル動画を用いた評価実験 [今後の展開] • より多様な印象語でのサムネイル動画自動 生成 • 検索画面上でサムネイル動画を再生するシス テムの開発