OngaACCELシンポジウム2020: 中村グループに関する研究成果の紹介
734 Views
September 16, 20
スライド概要
OngaACCELシンポジウム2020: 中村グループに関する研究成果の紹介
明治大学 総合数理学部 先端メディアサイエンス学科 中村聡史研究室
関連スライド
各ページのテキスト
ひとを知り ひとの力をいかした ひとのための研究 中村グループに関する 研究成果の紹介 中村聡史（明治大学） http://nkmr-lab.org / twitter: @nakamura
豊かな音楽の世界をより豊かに • ひとの理解と、音楽の理解をもとに、 様々なひとのための手法を研究開発 – 聴く行為に着目した音楽キュレーション技術 – リズムを利用した体験型コンテンツの創出 – 未来の歌詞表現の実現 – ダンス理解のための基礎的研究と応用
音楽を聴く行為に着目した 音楽キュレーション技術 野中滉介, 松山直人, 高橋拓, 斉藤絢基 新納真次郎, 田村柾優紀, 白鳥裕士, 中村聡史
音楽キュレーション • 背景 – 音楽が日々増え続けることにより、埋もれてい く音楽たち – 自分の好きな音楽を、他人におすすめしたい！ • 「聴いとくよ！」でもなかなか聴いてくれない • 目的 – 音楽を他人のことを思い浮かべながらにおすす めできる仕組みを実現したい – 音楽を他人におすすめしてほしい！
分岐型プレイリスト • 「推し」の音楽をひとに聴いてほしい！ – 推しがやめちゃうかもしれないという危機感 • 通常、ひとに何かを薦めるときは対話的 A「これどう？」 B「いまいちかなぁ」 A「じゃあこれどう？」 B「いいね」 A「じゃあこれは？」 B「これも好き！」 野中 滉介, 中村 聡史. 未知の音楽に誘導することを目的とした分岐型人力音楽推薦手法の提案, 情報処理学会 研究報告 ヒューマンコンピュータインタラクション（HCI）, Vol.2020-HCI-187, No.15, pp.1-7, 2020. https://dl.nkmr-lab.org/papers/234
分岐型プレイリスト • 「これが好きならこの曲」「この曲がイマ イチならこの曲」といった好みでおすすめ – 実験： 分岐あり＞分岐なし（N=24）
reco.mu (https://reco.mu)
ひとがどう聴いてるかで修正 • ひとの聴き方（流量）を考慮してプレイリ ストを改善することが可能！
mureq（https://mureq.com/） • マニアックな音楽のニーズでも誰かはいい 音楽を知っている 「朝ジョギングしたくなるような曲を紹介して」 「辛い通勤電車を楽しくするような曲を！」 – マニアックな質問から音楽リストが構成される リクエスト 音楽リスト プレイリスト ♪ 推薦 ♪ ♪ 推薦 推薦 集合知型キュレーション プレイ リスト 聴取
mureq: 集合知型キュレーション
otoniwa: 音楽を育てるゲーム • 「推し」たい音楽を自分の庭で育て、他の 人に聴いてもらうウェブサービス – 再生数の伸び率に応じてポイントが入る
Uniotto: グループ型音楽鑑賞技術 • リレー型音楽再生 – 交互に音楽を推薦しあう音楽聴取体験 • 音札 – 複数人の音楽アーカイブをもとにイントロドン とカルタを組み合わせたゲーム • ミュージック人狼 – 複数人の音楽アーカイブをもとに相手が持って そうな音楽を予想しつつ会話を楽しむゲーム https://uniotto.org 田村 柾優紀, 新納 真次郎, 白鳥 裕士, 田島 一樹, 中村 聡史. Uniotto: グループ型音楽鑑賞手法の提案と実装, 情報処理 学会 グループウェアとネットワークサービスワークショップ （GN Workshop 2017) 論文集, Vol.2017, pp.1 - 8, 2017. https://dl.nkmr-lab.org/papers/64
Uniotto • 音札 – iOS Application
成果: 音楽キュレーション • reco.mu: 分岐型プレイリストにより「推し」の音 楽を他者にすすめることが可能に – https://reco.mu • mureq: 集合知による音楽キュレーション – https://mureq.com • otoniwa: 再生数がまだ多くない音楽動画を応援す るサービス • Uniotto: 会話やゲームとして楽しみながら音楽を すすめる – https://uniotto.org
音楽理解技術に基づくリズムを 利用した体験型コンテンツの創出 横山幸大, 伊藤理紗, 當麻僚太郎 中村聡史, 後藤真孝, 井上隆広
リズムを利用した音楽体験 • 背景 – 音楽の効果は色々わかっているが、応用が不十 分。音楽による体験をより豊かにする必要あり • 目的 – 音楽をゲームとして楽しみ社会貢献 – 音楽によって他の人とつながる – 高齢者の運動を支援 – 音楽でコミュニケーションやプレゼンを支援
JusTune Game: justune.net/game • Songleの音楽理解技術で解 析されている膨大な楽曲 （現在180万曲以上）を、 ゲームとして楽しめる – 音楽解析結果から音楽ゲー ムを自動生成 – 答えたくなるマイクロタス クにより社会貢献も可能 • https://justune.net/game
JusTune Live: justune.net/live • 実世界では様々な音楽が再生されている 色んな場所 ある時間 音楽♪ 音楽♪ 実世界の時間軸 音楽♪ 音楽♪ 音楽♪ 音楽♪ 音楽♪ 音楽♪ 音楽♪ 音楽♪ 音楽♪ 音楽♪ 音楽♪ 音楽♪ – ある時間にある場所でなっている音楽を利用し て音楽体験を拡張したい！
JusTune Live: justune.net/live • QRコードもなく、周りの音から、その場で 今現在、どんな音楽の、どの部分が再生さ れているかを産総研の技術で推定（Songle API）し、体験を生み出す！ ある時間 実世界の時間軸 音楽♪ 音楽♪ 音楽♪
JusTune Live: justune.net/live 使用楽曲: AIST研究用音楽データベース AIST-MDB-2020 No.71
JusTune Sync: justune.net/sync • その場（ライブ会場やお店など）にいるひと同士 が、その場で流れている音楽を利用して楽しむ – 誰かひとりがSongle APIを利用して今流れている音楽を 認識し、それ以外のひとはSongle Syncで同期して一緒 に音楽をゲームなどとして体験可能に！ 実世界の時間軸 音楽♪ 認識 参加 同じ場
JusTune Comm: justune.net/comm • 離れているが、同じ 音楽を、同じタイミ ングで聴いていたひ とをつなげ、新たな 音楽体験を！ 実世界の時間軸 音楽♪ 認識 音楽♪ 認識 – テレビやラジオなど から音楽でつながり 新たな体験を創出！ 色んな場所 音楽♪ 同一の音楽 のひとを 認識 つなげる 音楽♪ 認識 音楽♪ 認識
認知症患者のための音楽療法 • 認知症患者のために，心身を活性化する音 楽療法 – 単純に好きな音楽を聴くというものから，カス タネットなど奏でる，歌に合わせて踊る，カラ オケで歌うなど多様 – 懐メロは脳を活性化させる • 認知症患者の音楽療法を，任意の音楽（好 きな音楽・懐かしい音楽）について，運動 と連動する形で支援 – Songleが分析した膨大な音楽を活用
認知症患者のための音楽療法 • 踏んで楽しめる音楽ゲーム
Songle + Songle Sync + 音楽体験 • 手持ちのスマートデバイスでみんなで輪に なり音楽体験
音楽での対話支援 • 音楽が緊張緩和に使われている – カフェ，病院，手術前，出会いの場など • 自身のみが聴こえる音楽で緊張緩和し， コミュニケーションやプレゼンを支援 – 周りの音も聴くことが可能
音楽でのコミュニケーション支援 • 2者間で音楽のリズムを変えた場合 – 発話速度に音楽の速度は影響を受けない – リズムが違う場合に会話のオーバーラップが増える • 盛り上がりとオーバーラップは関連しているので利用可能？ • 音楽によるコミュニケーションの変化 – 音楽は緊張しがちな人の緊張緩和効果がある – 音楽により発話速度減少（「間」がきにならなくなる） – 音楽が悪影響を及ぼすことも（単語の思い出しなど） 大野直紀，中村聡史．独立した音楽視聴時の会話円滑化手法の検討，ヒューマンインタフェースシンポジウム2018，No.5A1-2， pp.1-5，2018．https://dl.nkmr-lab.org/papers/132 大野直紀，徳久弘樹，中村聡史．自身のみ聴取可能な音楽を用いたコミュニケーション円滑化手法の提案，情報処理学会 研究 報告グループウェアとネットワークサービス（GN），Vol.2019-GN-106，No.22，pp.1-7，2019． https://dl.nkmr-lab.org/papers/105
音楽でのプレゼンテーション支援 • 音楽によるプレゼン支援 – 音楽あり環境だと時間を守れる – 音楽の音量をあげることで声を大きくできる： ロンバード効果 – 遅い音楽で発表のテンポも遅く制御可能 – 他者評価は悪くならない（学会発表や修論発表 などでも実践） 徳久 弘樹，大野 直紀，中村 聡史．プレゼンテーション中の発表者のみが聴取可能な音楽による緊張緩和手法の提案，情報処 理学会 研究報告GN，Vol.2019-GN-106，No.46，pp.1 - 8，2019．https://dl.nkmr-lab.org/papers/144 徳久 弘樹，大野 直紀，中村 聡史．自身のみが聴取可能な音楽によるプレゼンテーション支援手法の提案， 電子情報通信学 会 HCS研究会, HCS-9，Vol.119，No.38，pp.45-50，2019．https://dl.nkmr-lab.org/papers/179
音楽による騒音除去 • Noise Canceling Music：音楽で騒音の印象 をネガ→ポジに変容させ気にならなくする – 「セミのうるさい鳴き声」を「Summer」によりその雰囲 気を楽しめるものに – 「工事のうるさい音」を「地上の星」により工事で頑張 っている人たちをイメージさせるものに Hiroki Tokuhisa, Kenta Sato, Kouhei Matsuda, Keiji Matsui, Satoshi Nakamura. Noise Canceling Music: Reducing Noise by a Mixing it with Suitable Music, International Conference on Entertainment Computing & Joint Conference on Serious Games (ICEC-JCSG 2019), Vol.LNCS 11863, pp.278-284, 2019. https://dl.nkmr-lab.org/papers/201
成果: 音楽による新たな体験 • JusTune – 音楽理解技術にもとづき、その場、その時間の「音楽」 を利用してゲームとして楽しみ、社会貢献可能な仕組み の実現 – https://justune.net • 高齢者向け運動支援システム – 記憶を呼び覚ますような音楽を利用して、運動を支援す るシステム • その他音楽応用 – 音楽によるコミュニケーション、プレゼン支援 – 騒音の認知的な除去
文字の数式化と融合による 未来の歌詞表現の実現 斉藤絢基, 新納真次郎, 佐藤剣太, 野中滉介 佐々木美香子, 鈴木正明, 中村聡史
未来の歌詞表現 • 背景 – ミュージックビデオなどでの歌詞の文字表現に 工夫がなされている – カラオケなどで提示される歌詞はシンプル – TextAliveやLyric Speakerなど文字表現に対す るニーズは多い • 目的 – 音楽に連動した歌詞表現を可能に – 歌詞表現により音楽の印象を増幅
文字を数式として表現 x(t) = 275.19 + 15.91cos(t) - 0.08sin(t) + 5.43cos(2t) - 0.06sin(2t) - 31.55cos(3t) + 0.5sin(3t) + 0.85cos(4t) - 0.02sin(4t) + 35.76cos(5t) - 0.94sin(5t) - 1.24cos(6t) + 0.04sin(6t) + 8.06cos(7t) - 0.3sin(7t) - 2.24cos(8t) + 0.09sin(8t) + 2.83cos(9t) - 0.13sin(9t) y(t) = 256.76cos + 60.26cos(t) - 0.32sin(t) + 10.59cos(2t) - 0.11sin(2t) + 32.41cos(3t) 0.51sin(3t) + 10.98cos(4t) - 0.23sin(4t) - 4.69cos(5t) + 0.12sin(5t) + 4.52cos(6t) 0.14sin(6t) - 2.5cos(7t) + 0.09sin(7t) + 0.1cos(8t) + 0sin(8t) - 1.66cos(9t) + 0.08sin(9t) 中村聡史, 鈴木正明, 小松孝徳. ひらがなの平均手書き文字は綺麗, 情報処理学会論文誌, V.57, No.12, pp.2599-2609, 2016. https://dl.nkmr-lab.org/papers/34 https://nkmr-lab.github.io/Char2Fourier/
フォントも数式として表現 斉藤絢基, 中村聡史. 動的なフォント融合による文字デザイン支援手法, 情報処理学会 研究報告エンタテインメントコン ピューティング（EC）, Vol.2018-EC-47, Issue.2, pp.1 - 8, 2018. https://dl.nkmr-lab.org/papers/78
形容詞対空間操作で文字表現生成
音楽の印象をフォントに転写 • 音楽の印象から歌詞の文字表現を変更 – 切ない・滑稽・かわいいを増幅可能 – 元気が出る・激しいは難しい Kosuke Nonaka, Junki Saito, Satoshi Nakamura. Music Video Clip Impression Emphasis Method by Font Fusion Synchronized with Music, International Conference on Entertainment Computing & Joint Conference on Serious Games (ICEC-JCSG 2019), Vol.LNCS 11863, pp.146-157, 2019. https://dl.nkmr-lab.org/papers/200
アニメーションによる増幅 • 元気さや、激しさは動きにより表現 – 数式化された文字に動き用の数式を付与 佐藤剣太, 中村聡史, 鈴木正明. 印象増幅のための手書き文字へのエフェクト付与手法, 情報処理学会論文誌, Vol.59, Issue.9, pp.1761-1773, 2018. https://dl.nkmr-lab.org/papers/107
応用 送り手 • 抵抗感のない手紙作成 – フォントと手書きの融合 – 手書きとフォントの融合は抵抗が なく、もらってうれしいものに！ 受け手 • コミックのセリフへの適用 – セリフに自身の手書きを融合して 登場人物を身近に Mikako Sasaki, Junki Saito, Satoshi Nakamura. Analysis of utilization in the message card production by use of fusion character of handwriting and typeface, 17th IFIP TC.13 International Conference on Human-Computer Interaction , Vol.11749, pp.25-33, 2019. https://dl.nkmr-lab.org/papers/204 Junki Saito, Satoshi Nakamura. Fontender: Interactive Japanese Text Design with Dynamic Font Fusion Method for Comics, 25th International Conference on MultiMedia Modeling (MMM2019), Vol.11296, pp.554-559, 2019. https://dl.nkmr-lab.org/papers/130
成果: 未来の歌詞表現 • 手書き文字・フォント文字の数式化技術 – 文字表現を数式として表現し、演算可能に – 演算によりアニメーションも可能に • 形容詞対空間への文字のマッピングと融合技術 – 印象に基づく文字表現の生成が可能に • 音楽印象に基づく歌詞の文字への印象転写 – 音楽の印象を増幅可能に • その他応用 – 融合文字を活用した手紙作成システム – コミックなど文字デザインシステム
ダンス理解のための基礎的研究と 応用のためのデータベース構築 又吉康綱, 古市冴佳, 斎藤光, 阿部和樹, 中村聡史 小山裕己, 深山覚, 後藤真孝, 中塚貴之, 森島繁生
ダンス理解とデータベース構築 • 背景 – 日々増え続ける「踊ってみた」動画などのダン スコンテンツ – 義務教育の中でもダンスが取り入れられた • 目的 – 膨大なダンス動画から学び楽しめる世界の実現 – 自分にあうダンスはなにか？ – ダンスの習得にはどのような方法が適切か？ – ダンス動画の知としての蓄積
ダンス動画から学びたい • 必要なことは？ – 自分はどんなダンスで、どんなダンスが合うか • ダンスの個性とは？に挑戦 – 骨格だけで自身を判断可能か？ – 判断の材料は何なのか？ – 実験結果 • 経験者＞未経験者 • 角度特徴＞動き特徴 Hikaru Saito, Yoshiki Maki, Shunki Tsuchiya, Satoshi Nakamura. Can People Sense Their Personalities Only by Watching the Movements of Their Skeleton in Street Dancing Performances?, HCI International 2018 , Vol.10903, pp.344-354, 2018. https://dl.nkmr-lab.org/papers/99 Saeka Furuichi, Kazuki Abe, Satoshi Nakamura. The possibility of personality extraction using skeletal information in hip-hop dance by human or machine, 17th IFIP TC.13 International Conference on Human-Computer Interaction (INTERACT 2019), Vol.11749, pp.511-519, 2019. https://dl.nkmr-lab.org/papers/186
ダンス動画から学びたい • そのために必要なことは – ニュアンスを習得するにはどうしたらよいか • ダンスの細かい意図を掴むことは難しい – オノマトペ＋漫画的提示が効果的（N=27） 斎藤 光, 徳久 弘樹, 中村 聡史, 小松 孝徳. ダンス動画へのオノマトペ付与 によるダンス習得促進手法, 情報処理学会 研究会報告グループウェアとネット ワークサービス（GN）, Vol.2020-GN-109, No.33, pp.1-8, 2020. https://dl.nkmr-lab.org/papers/224
ダンス動画から学びたい • ダンスの構造記述 斎藤 光, 徳久 弘樹, 中村 聡史, 小松 孝徳. ダンス動画へのオノマトペ付与 によるダンス習得促進手法, 情報処理学会 研究会報告グループウェアとネット ワークサービス（GN）, Vol.2020-GN-109, No.33, pp.1-8, 2020. https://dl.nkmr-lab.org/papers/224
Mongle • 踊ってみた動画などの膨大 なダンス動画を再利用可能 な「知」とするため，モー ションとして認識して蓄積 • ダンス動画のモーション認 識（森島研）とそれに基づ くダンスDBの実現 – https://mongle.jp – モーションデータをダウンロ ードして利用することも可能
Mongle
Mongle
誤り修正のインタフェース • 映像ベースでフレーム間類似度を計算し、 映像が似ている部分はダンスが類似してい ると判断し、ダンスの訂正補助 又吉康綱, 小山裕己, 深山覚, 後藤真孝, 中村聡史. 画像の類似度を用いたダンス動画モーション訂正手法, 第27回インタラ クティブシステムとソフトウェアに関するワークショップ (WISS 2019), 2019. https://dl.nkmr-lab.org/papers/202
成果: ダンス理解とデータベース • ダンスにおける個の認識技術 – 骨格情報の角度情報を使うことにより、個の認識が高精 度に可能 • ダンスのニュアンス理解支援技術 – オノマトペを漫画風に提示することでニュアンスを習得 可能 • ダンスデータベースの実現 – ダンスを骨格情報として蓄積 – 将来的に、類似計算や検索（Query-by-Dancingなど）、 推薦（あなたにあう少し難易度が高いダンスはこれ） などが可能に
豊かな音楽の世界をより豊かに • 音楽認識技術と大規模データベースにより 音楽体験（Music eXperience）を豊かに – 増え続ける音楽の問題：音楽を聴く行為に着目 した音楽キュレーション技術 – 音楽体験のニーズ：音楽理解技術に基づくリズ ムを利用した体験型コンテンツの創出 – 新たな文字表現のニーズ：文字の数式化と融合 による未来の歌詞表現の実現 – ダンス習得の問題：ダンス理解のための基礎的 研究と応用のためのデータベース構築
中村研究室: ACCEL期間 明治大学 総合数理学部 FMS学科 中村研究室 http://nkmr-lab.org/ OB: 22名 M2: 3名 M1: 7名 B4: 8名 B3: 6名 -------計: 46名