動画共有サービス上の時刻同期コメントを視聴のきっかけに用いた音楽動画探索システムに関する検討

2025.03.02-04 INTERACTION2025 動画共有サービス上の時刻同期コメントを 視聴のきっかけに⽤いた ⾳楽動画探索システムに関する検討 ⽊下 裕⼀朗1 佃 洸摂2 渡邉 研⽃2 中塚 貴之2 中野 倫靖2 後藤 真孝2 中村 聡史1 1 明治⼤学 2 産業技術総合研究所

本研究の⽬的 ユーザが普段聴かないクリエータやジャンルの楽曲の中から， 新たに⾃⾝の好みに合う楽曲を発⾒できるように⽀援 新たなクリエータを知る‧好みの⾳楽ジャンルの幅を広げることは ⼈々の⾳楽体験をより豊かにすることにつながる 2

⾳楽検索‧探索に関する先⾏研究 歌詞やジャケット画像に基づく楽曲の検索‧探索システム [Tsukuda+ 2017] [Stober+ 2010] [Knees+ 2020] ⾳楽ジャンルとの関連が強く，普段聴かないジャンルの楽曲を 探索するきっかけとしては不⼗分 時刻同期コメントに着⽬ 3 Tsukuda, K. et al.: Lyric Jumper: A Lyrics-Based Music Exploratory Web Service by Modeling Lyrics Generative Process, ISMIR’17. Stober, S. and Nürnberger, A.: MusicGalaxy: A Multi-focus Zoomable Interface for Multi-facet Exploration of Music Collections, CMMR’10. Knees, P. et al: Intelligent User Interfaces for Music Discovery, Transactions of the International Society for Music Information Retrieval, 2020. 3

時刻同期コメントの活⽤ これ聞きながらドライブすると⾃然とアクセルと踏んでしまう‧‧ 天使と悪魔の⼩説みたいな雰囲気 すの発⾳は泣くほど好き 時刻同期コメントを⾒て，それが投稿された⾳楽動画や 該当するシーンを視聴したくなるのではないか？ 時刻同期コメントをきっかけとして⾳楽動画を視聴 4

5

システム [1/2] コメント選択 ⾳楽動画視聴 異なる⾳楽動画に投稿された3件のコメントを表⽰（今回はランダム） 3つのうち1つしか選べないように制限 - どのようなコメントが⼈の興味を引き，選択されるのか分析するため 6

システム [2/2] コメント選択 ⾳楽動画視聴 選択されたコメントが投稿されたシーンの少し前から再⽣ 最初から最後まで視聴しなくとも，好みに合うか判断しやすくなる 7

時刻同期コメントの特徴 気軽にたくさん投稿される 時刻に同期していないコメントやレビュー評価が投稿されない ⾳楽動画に対しても，提案アプローチを幅広く適⽤可能 ⾳楽動画のジャンルを想起させないものも多い ⽇頃の⾳楽の好みにとらわれずに，⾳楽動画を探索できる 8

リサーチクエスチョン（実験1） RQ1: 提案アプローチにより，普段視聴しないタイプであり， かつ好みに合う⾳楽動画をどの程度発⾒できるか？ RQ2: ⾳楽動画を視聴したいと思うような，興味を引くコメント にはどのような特徴があるか？ 9

使⽤データ ⾳楽動画 - 「ニコニコデータセット*」内の歌声合成ソフトウェアを⽤いて 創作されたオリジナル楽曲（VOCALOID楽曲） コメント - 不適切な表現を含む，記号のみのコメントは除外 - 同⼀の⾳楽動画に投稿された同⼀コメントは1件になるようにした - 投稿⽇時が新しい50コメントを使⽤ 27,420の⾳楽動画，1,371,000の時刻同期コメントを使⽤ * https://www.nii.ac.jp/dsc/idr/nico 10

実験⼿順

実験⼿順 実験⽤システムを10⽇間使⽤ • コメントを選び⾳楽動画を視聴後，任意で評価ボタンを押す • 実験の終了後，アンケートに回答 選択コメント ⾮選択コメント スキップコメント 12

視聴動画数と各コメント集合の数 実験参加者：研究室内の学⽣20名 10⽇間で合計4,148件の⾳楽動画が視聴された 選択コメント データ数 ⾮選択コメント 4,480 ⾼評価 2,811 低評価 973 8,960 スキップコメント 4,098 評価なし 696 13

リサーチクエスチョン（実験1） RQ1: 提案アプローチにより，普段視聴しないタイプであり， かつ好みに合う⾳楽動画をどの程度発⾒できるか？ RQ2: ⾳楽動画を視聴したいと思うような，興味を引くコメント にはどのような特徴があるか？ 14

視聴された⾳楽動画のジャンル ⾳楽動画のジャンルを10種*に分類 - ニコニコデータセットに含まれる「タグ」を基に分類 - ジャンルに対応するタグを含む動画のみを分析 使⽤動画全体の各ジャンル割合 概ね⼀致 視聴動画の各ジャンル割合 時刻同期コメントをきっかけと することで，幅広いジャンルの ⾳楽動画が視聴された 15

普段聴かないジャンルの楽曲との遭遇 実験参加者が視聴した動画の平均ジャンル数: 6.4 (10ジャンル中) 普段聴かないジャンル＆⾼評価: 38.4% 視聴した動画全体 ⾼評価 低評価 評価なし 普段聴く 28.7% 7.0% 7.7% 普段聴かない 38.4% 11.9% 8.6% 普段聴かないジャンル&⾼評価 視聴された全ての動画 16

普段聴かないジャンルの楽曲への評価 普段聴かないジャンルの⾳楽動画が 視聴された時に⾼評価であった割合: 60.3% 視聴した動画全体 ⾼評価 低評価 評価なし 普段聴く 普段聴かない 60.3% 普段聴かないジャンル&⾼評価 視聴された普段聴かないジャンルの動画 21.0% 18.8% 17

実験⽤システムの定性評価 ⾃由記述で「実験システムを今後も利⽤したいか」と質問 14名（20名中）: 利⽤したい - コメントの箇所から再⽣すると⼈気のあるメロディーやサビから 再⽣されることが多く，好みの曲を⾒つけやすかった - サムネイルとタイトルだけで好みに合うか判別するのは難しいので便利 5名: 改善があれば利⽤したい - ⾼評価したコメントや動画の保存機能，より多くの動画に適⽤ 1名: 利⽤したくない - 好きな曲のみを聴きたい 18

リサーチクエスチョン（実験1） RQ1: 提案アプローチにより，普段視聴しないタイプであり， かつ好みに合う⾳楽動画をどの程度発⾒できるか？ RQ2: ⾳楽動画を視聴したいと思うような，興味を引くコメント にはどのような特徴があるか？ 19

各コメント集合で出現割合が⾼い形態素 [1/2] MeCabを⽤いて形態素解析 選択，⾮選択，スキップにおける 各形態素の出現割合を計算 選択コメント • 「曲」に⾔及 • 「いい」「好き」と述べている • 「神」や「すごい」と⾼く評価 実際のコメント例 「過去を優しく想い起こさせてくれる神曲」 「うわここのピアノいい」 「このリズムすごい好きっす」 20

各コメント集合で出現割合が⾼い形態素 [2/2] ⾮選択コメント • バーチャルシンガーの名前 スキップコメント • 歌声合成パラメータに関連する語 VOCALOID楽曲を全く聴かない 実験参加者が4割存在したため 21

選択された個性的なコメント 「なんという疾⾛感のあるヤキイモ」 「これのせいでトランペットを聞くだけで⾯⽩いと 思う体になった」 「地下世界で地上へのゲートロック解除的な何かを感じた」 コメント投稿者独⾃の視点が含まれるコメントや 特定の⾳楽動画のみに当てはまるコメントも⼈の興味を引く可能性 22

興味を引くコメントの⼀致度検証（実験2） 実験1でポジティブ，個性的なコメントが選ばれる傾向 ⼀⽅で，選択/⾮選択/スキップコメント間で同じコメントが存在 興味を引くコメントは⼈々の間でどの程度⼀致するか？ 実験2 • 実験1で選択されたコメントを含む3件1組の コメントセットを400セットサンプリング • 実験1と同様の⼿順で実施 実験1 ここ⿃肌 なんか好き 伸びろおお 実験2 ここ⿃肌 なんか好き ‧ ‧ ‧ 伸びろおお ここ⿃肌 なんか好き 伸びろおお

⼀致度の結果 実験1とは異なる20名の参加者（平均年齢20.7歳） 選択されたコメントの⼀致度を算出 - Krippendorff’s alphaを使⽤（-1~1の間の値をとる） Krippendorff’s alpha: 約0.35（低い⼀致度） 興味を引くコメントは⼈によって異なる 24

多くの参加者が選択したコメント 0.5以上/未満の割合で選択されたコメントを形態素解析 0.5以上の割合で選ばれたコメントの特徴 • 「すごい」「素敵」「殿堂⼊り」などの⾼評価を表す語を含む • 「サビ」「最後」などの特定のシーンに関する語を含む 例）「久しぶりに来たけど、相変わらず⼼に沁みる素敵な動画だ」「サビで⿃肌⽴つ」 0.5未満だったコメントの特徴 • ポジティブな語の種類が少ない • 特定のシーンに関連する語がみられなかった 25

展望 • より多くの⾳楽動画を対象にし，動画を最初から⾒せる場合 と⽐較するなどして，有⽤性をさらに検証 • 実際にユーザが使⽤するためのシステムを実装 - ⾼評価したコメントや動画の保存機能の追加 - 各ユーザに合った興味を引くコメントを⾼い確率で表⽰ 26

まとめ ⽬的：普段聴かないタイプの⾳楽動画の中から，新たに 好みに合うものを発⾒できるように⽀援 提案：⾳楽動画の視聴のきっかけとして時刻同期コメントを活⽤ 結果：普段聴かないタイプで好みに合うものを発⾒可能 ⾼い評価を述べているコメントは選ばれやすい 興味を引かれるコメントは多様で⼈によって異なる 本⽇のデモ発表（1B47ブース）では， お⼿持ちのスマホでシステムの体験ができます！ 27