動画共有サービス上の興味を引く時刻同期コメントを用いた音楽動画探索システムに関する検討

2024.07.22-23 第209回HCI研究発表会 動画共有サービス上の興味を引く 時刻同期コメントを用いた 音楽動画探索システムに関する検討 木下 裕一朗*1 佃 洸摂*2 渡邉 研斗*2 中塚 貴之*2 中野 倫靖*2 後藤 真孝*2 中村 聡史*1 *1 明治大学 *2 産業技術総合研究所 1

ユーザが普段聴かないタイプの音楽動画との 出会いを支援することが目的 「いつもここで鳥肌立つのよ」 「今の盛り上がるトコ好き」 「ここのハモリ不思議なかんじで好き」 興味を引く時刻同期コメントが，動画視聴の きっかけとして有用なのではないか？ 2

音楽コンテンツの広がりと検索手法 音楽コンテンツの数が膨大になり，音楽検索を 支援する手法が多く提案されてきた [Knees+ 2020] ハミング [Ghias+ 1995] ，ソーシャルタグ [Kamalzadeh+ 2016] を 利用した検索手法など 従来の検索手法は探したい楽曲が比較的明確に 決まっている場合は有用 Knees, P., Schedl, M. and Goto, M.: Intelligent User Interfaces for Music Discovery, Transactions of the International Society for Music Information Retrieval, (2020). Ghias, A., Logan, J., Chamberlin, D. and Smith, B. C.: Query by Humming: Musical Information Retrieval in an Audio Database, MM ’95, (1995). Kamalzadeh, M., Kralj, C., M¨oller, T. and Sedlmair, M.: TagFlip: Active Mobile Music Discovery with Social Tags, IUI ’16, (2016). 3

音楽聴取におけるセレンディピティの重要性 価値あるものや好ましいものとの，偶然の出会いも重要 セレンディピティはユーザ体験を向上させる [Sun+ 2021] セレンディピティを考慮した音楽探索手法 [Taramigkou+ 2013] セレンディピティによって音楽体験がより豊かになる 新たなクリエータを知る，好みの音楽ジャンルの幅が広がる Sun, T., Zhang, M. and Mei, Q.: Unexpected Relevance: An Empirical Study of Serendipity in Retweets, ICWSM ’21, (2021). Taramigkou, M., Bothos, E., Christidis, K., Apostolou, D. and Mentzas, G.: Escape the Bubble: Guided Exploration of Music Preferences for Serendipity and Novelty, RecSys ’13, (2013). 4

研究の目的 ユーザが普段聴かないタイプの音楽動画との出会いを支援 普段聴かないタイプの楽曲を聴くきっかけとして， 時刻同期コメントに着目 5

時刻同期コメントに着目する理由 「走り出したくなるイントロだ」「この演出は泣ける」 のように，動画のシーンに応じたコメントが多い [佃+ 2011] コメントの投稿部分を視聴したいと思わせるものが存在 クリエータやジャンルを想起させないものが多く， 普段聴く音楽に影響されづらい 佃洸摂，中村聡史，山本岳洋，田中克己：映像に付与されたコメントを用いた登場人物が注目されるシーンの推定， 情報処理学会論文誌，(2011). 6

提案アプローチ 時刻同期コメントをきっかけとして音楽動画を視聴 コメントを提示し，コメントが選択された際にその投稿部分 から動画が視聴可能なリンクを作成 今回はコメントをランダムに抽出して提示 コメントが投稿されたシーンを見て次々と探索が可能 動画全てを見なくとも自分の好みに合っているか判断できる 7

リサーチクエスチョン RQ1: 音楽動画を視聴したいと思うような，興味を引く コメントにはどのような特徴があるか？ RQ2: 提案アプローチにより，普段視聴しないタイプであり， かつ好みに合う音楽動画をどの程度発見できるか？ 8

提案アプローチに基づく実験用システム コメントフィールド 動画フィールド ※ニコニコ動画がサイバー攻撃により視聴できなくなっているため動画が非表示になっています 評価ボタン 9

使用データ ニコニコデータセットに含まれるデータのうち， 歌声合成ソフトウェアを用いて創作された楽曲を対象 不適切な表現のコメントや記号のみのコメントなどは除外し， 各動画の直近50コメントを使用 コメント数が50未満の動画は対象外 27,420の動画，1,371,000のコメントを実験に使用 10

実験手順 実装したシステムを10日間使用 • 3件1組のコメントセットを1日最低30回評価 • コメントを選び動画を視聴後，任意で評価ボタンを押す • システム利用実験の終了後，アンケートに回答 選択コメント 非選択コメント スキップコメント 11

実験参加者と視聴動画数，各種コメント数 実験参加者：研究室の学生20名（女性5名，男性15名） 計4,148件の音楽動画が視聴された データ数 選択コメント 非選択コメント スキップコメント 4,480 8,960 4,098 選択コメント（4,480件） 高評価 低評価 評価なし 2,811 973 696 12

リサーチクエスチョン RQ1: 音楽動画を視聴したいと思うような，興味を引く コメントにはどのような特徴があるか？ RQ2: 提案アプローチにより，普段視聴しないタイプであり， かつ好みに合う音楽動画をどの程度発見できるか？ 13

出現割合が高い上位20の形態素 MeCabを用いて形態素解析 「曲」「いい」「好き」の 出現割合が高い 「レン」「リン」「調教」 を含むものは選ばれにくい 専門的な単語を含むものは 選ばなかったという アンケート回答と一致 14

「曲」を含むコメントの上位20の形態素 選択コメントにおける 「神」「素敵」「最高」の 出現割合が他と比べて高い 評価が高いと受け取れるもの を選んだという回答と一致 実際のコメント例 「過去を優しく想い起こさせて くれる神曲」 「曲可愛くて素敵！」 「本当に最高なんだよなあこの曲」 15

「好き」を含むコメントの上位20の形態素 「サビ」「イントロ」 「すごく」「めちゃくちゃ」 のように，楽曲のパートや 好きな程度を表す語の 出現割合が高い 実際のコメント例 「2番サビの歌詞本当に好きです」 「イントロから好き」 「やっぱり曲調がすごく好きだなぁ」 「サビがめちゃくちゃ好きだぁぁー」 16

実験で選ばれた独特な表現を含むコメント 「爽やかさに暖かみがあって好き」 「なんという疾走感のあるヤキイモ」 「不思議な気持ちになって安心できる」 「夏の切なさ、繊細さ、美しさが全部揃ってる」 「これ聞きながらドライブすると自然とアクセルと 踏んでしまう・・」 17

リサーチクエスチョン RQ1: 音楽動画を視聴したいと思うような，興味を引く コメントにはどのような特徴があるか？ RQ2: 提案アプローチにより，普段視聴しないタイプであり， かつ好みに合う音楽動画をどの程度発見できるか？ 18

実験で視聴された音楽動画のジャンル内訳 実験に使用した音楽動画のジャンルを10種*に分類 ニコニコデータセットに含まれるタグに基づいて分類 ジャンルに対応するタグを含む動画のみを分析に使用 データセット全体の各ジャンルの 割合と，視聴された動画の 各ジャンルの割合は概ね一致 時刻同期コメントから特定の ジャンルが想起されない * ポップス，ロック，ダンス，ジャズ，ラテン，クラシック，行進曲，ワールド，声楽，邦楽 19

普段聴かないジャンルの楽曲との遭遇 各実験参加者が視聴した動画の平均ジャンル数は6.4 普段聴かないジャンルでかつ高評価のものは全体の38.4% 視聴した動画全体 高評価 低評価 評価なし 普段 聴く 28.7% 7.0% 7.7% 普段 聴かない 38.4% 11.9% 8.6% 20

普段聴かないジャンルの楽曲との遭遇 普段聴かないジャンルの音楽動画は60.3%の割合で高評価 視聴した動画全体 高評価 低評価 評価なし 60.3% 21.0% 18.8% 普段 聴く 普段 聴かない 21

実験用システムの定性評価 実験用システムを今後も利用したいか，自由記述で質問 14名：利用したい 「コメントから選ぶ形式だと動画選択の負荷が軽くなる」 「サムネイルとタイトルのみで好みに合うかどうか判別するのが 難しいため，本システムは便利に感じた」 5名：システムの改善があれば利用したい 改善点：高評価したコメントの保存機能，より多くの動画を扱う 1名：好きな曲のみを聴きたいため利用したくない 22

リサーチクエスチョン RQ1: 音楽動画を視聴したいと思うような，興味を引く コメントにはどのような特徴があるか？ 全体としてポジティブなコメントは選ばれやすい傾向 独特な表現を含むコメントも選ばれた RQ2: 提案アプローチにより，普段視聴しないタイプであり， かつ好みに合う音楽動画をどの程度発見できるか？ 平均38.4%の確率で遭遇 普段視聴しないタイプの動画のとき，平均60.3%で高評価 23

展望 同一コメントに対する評価の一致度合いを検証 人によって興味を引かれるコメントはどの程度異なるか ジャンルだけでなく，クリエータや曲調にも着目して 提案アプローチの有用性をさらに検証 24

まとめ 目的：普段視聴しないタイプの音楽動画との出会いを支援 提案：時刻同期コメントをきっかけとして音楽動画を視聴 結果：高い評価を述べているコメントは選ばれやすい 普段聴かないタイプで好みに合うものと高確率で遭遇 展望：同一コメントに対する評価の一致度合いの検証 ジャンルだけでなくクリエータや曲調などにも着目 25