[DL輪読会]DDSP: Differentiable Digital Signal Processing (ICLR2020)

592 Views

May 22, 20

スライド概要

2020/05/22
Deep Learning JP:
http://deeplearning.jp/seminar-2/

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

(ダウンロード不可)

関連スライド

各ページのテキスト
1.

DEEP LEARNING JP [DL Papers] “DDSP: Differentiable Digital Signal Processing (ICLR2020)” Naoki Nonaka http://deeplearning.jp/ 2020/1/31 1

2.

໨࣍ • 書誌情報 • 背景 • 提案⼿法 • 実験 • まとめ 2020/1/31 2

3.

ॻࢽ৘ใ • 会議︓ICLR 2020 • 著者︓Jesse Engel, et al. (Google Brain) • 実装︓ https://github.com/magenta/ddsp (図表は紹介する論⽂中のものを使⽤) 2020/1/31 3

4.

എ‫ܠ‬ Ի੠߹੒ Ի੠߹੒ɿυϝΠϯ஌ࣝͱࣗಈඍ෼ʹΑΔ‫ࢉܭ‬ͷ૊Έ߹Θ͕ͤ೉͔ͬͨ͠ Þ ඍ෼Մೳͳσδλϧ৴߸ॲཧख๏ΛఏҊ Þ Ի੠߹੒ʹؔ͢Δࣄલ஌ࣝΛऔΓࠐΜͩωοτϫʔΫߏ଄Λ࡞੒Մೳʹ 2020/1/31 4

5.

Ի੠ੜ੒ͷख๏ͱ՝୊ ‫ط‬ଘͷํ๏ ௚઀೾‫ܗ‬Λੜ੒ ໰୊఺ 2020/1/31 ੜ੒ → ‫ٯ‬ม‫׵‬ n όΠΞε͕ೖΔ n Ґ૬੔߹ੑͷ໰୊ n Ґ૬੔߹ੑͷ໰୊ n Spectral leakage ࣗ‫ݾ‬ճ‫ܕؼ‬ n ωοτϫʔΫ‫ڊ‬େ 5

6.

%%41DPNQPOFOUT ߏ੒ཁૉ p 0TDJMMBUPSTʢൃৼ‫ث‬ʣԻͷ‫ͳͱݩ‬Δ೾‫ܗ‬Λ࡞Γग़͢෦෼ p &OWFMPQFTʢ৴߸แབྷઢʣ ༩͑ΒΕͨશͯͷ‫ۂ‬ઢʹ઀͢ΔΑ͏ͳ‫ۂ‬ઢ p 'JMUFST‫؍‬ଌ৴߸͔Β໨తͱ͢Δ৴߸੒෼ΛऔΓग़͢‫ػ‬ೳ 実装するモデル p Spectral Modeling Synthesis (SMS) の微分可能版 p 加算型シンセサイザ(多数の正弦波を⾜し合わせる)と 減算型シンセサイザ(ホワイトノイズをフィルタリングする)を組み合わせて⾳を⽣成 p パラメトリックかつ⾳の表現⼒が⾼い 2020/1/31 6

7.

4QFDUSBM.PEFMMJOH4ZOUIFTJT Ի = ௐ࿨੒෼ + ࢒༨੒෼ʢϊΠζ੒෼ʣ p ௐ೾੒෼ n ৴߸ͷप೾਺εϖΫτϥϜɾϐʔΫ Ͱࣝผ n ୹࣌ؒϑʔϦΤม‫Ͱ׵‬நग़͞ΕΔ p ࢒༨੒෼ n ৴߸͔Βௐ೾੒෼Λআ͍ͨ΋ͷ n ࣌มϑΟϧλΛ௨ͨ͠ ϗϫΠτϊΠζͰϞσϦϯά͞ΕΔ 2020/1/31 7

8.

%%41DPNQPOFOUT pHarmonic oscillator / Additive synthesizer ʢ࣌ؒมԽ͢ΔʣK൪໨ͷਖ਼‫ݭ‬೾ͷৼ෯ ͦͷॠؒʹ͓͚ΔҐ૬ प೾਺ => ֶशɾ‫ݻ‬ఆ͕Մೳͳॳ‫ظ‬ঢ়ଶ प೾਺ 2020/1/31 ͱৼ෯ Ͱද‫͞ݱ‬ΕΔ 8

9.

%%41DPNQPOFOUT pHarmonic oscillator / Additive synthesizer 2020/1/31 9

10.

%%41DPNQPOFOUT pFilter design: Frequency sampling method => ֤ϑϨʔϜͰͷFIRϑΟϧλͷप೾਺ྖҬ΁ͷม‫਺ؔ׵‬ΛNNͰ༧ଌ ॏෳ͠ͳ͍Α͏෼ׂͨ͠ೖྗͷԻ੠ͱ ཭ࢄϑʔϦΤม‫׵‬ l ൪໨ͷϑϨʔϜͷग़ྗ ෮‫͞ݩ‬ΕͨϑϨʔϜ͝ͱͷϑΟϧλద༻‫ޙ‬ͷԻ੠ 2020/1/31 10

11.

%%41 "VUPFODPEFSʹΑΔ࣮‫ݧ‬ σʔληοτ p/TZOUI Ø ‫ثָݭ‬ɺۚ؅ָ‫ث‬ɺ໦؅ָ‫ث‬ɺϚϨοτ Ø σʔλ਺ ݅ Ø Իఔϥϕϧʙͷൣғ p4PMP7JPMJO Ø ෼ؒͷιϩόΠΦϦϯԋ૗ Ø Ұ؏ͨ͠෦԰‫ڥ؀‬ʢूԻ‫ ڥ؀‬ʣ Ø σʔλ਺ ݅ʢඵʗαϯϓϧʣ 2020/1/31 11

12.

%%41 "VUPFODPEFSʹΑΔ࣮‫ݧ‬ pଛࣦؔ਺ pΦʔσΟΦ೾‫ܗ‬ͷ৔߹ɺੜ೾‫ܗ‬ͷϙΠϯτϫΠζଛࣦ͸ཧ૝తͰͳ͍ p஌֮తʹಉҰͷΦʔσΟΦαϯϓϧ͕ҟͳΔ೾‫ܗ‬Λ࣋ͭՄೳੑ pϙΠϯτϫΠζతʹྨࣅͨ͠೾‫͕ܗ‬ҟͳΔԻʹฉ͑͜ΔՄೳੑ pϚϧνϨκϦϡʔγϣϯɾεϖΫτϧৼ෯‫ͨࣅʹ཭ڑ‬ Multi-Scale SpectrogramଛࣦΛ༻͍Δ 2020/1/31 12

13.

"VUPFODPEFS %%41 2020/1/31 13

14.

"VUPFODPEFS %%41 2020/1/31 14

15.

݁Ռ pߴ඼࣭ͷԻ੠ੜ੒ Original Resynthesis p-PVEOFTTͱ1JUDIΛಠཱʹૢ࡞ જࡏม਺Λ෼ղͨ͜͠ͱͰɼ֤ཁૉΛಠཱʹૢ࡞Ͱ͖Δ ಺ૠͷΈͳΒͣɼֶशதʹ‫ݟ‬ΒΕͳ͔ͬͨ֎ૠ΁ͷରԠ΋Ͱ͖Δ p࢒‫ڹ‬আ‫ͱڈ‬Ի‫ڹ‬ͷసҠ ఏҊख๏Ͱ͸ɼ࢒‫ͱڹ‬Ի‫ݯ‬Λ‫׬‬શʹ෼཭Ͱ͖Δ ੜ੒࣌ʹ࢒‫߲ڹ‬Λӌճ͢Δ͜ͱͰɼ࢒‫ڹ‬ͷআ‫͕ڈ‬Մೳ 2020/1/31 15

16.

݁Ռ pԻ৭ͷసҠɿʢஶऀͷʣՎ੠ ˠ όΠΦϦϯʹม‫׵‬ 'ͱ-PVEOFTTΛՎ੠͔Βநग़͠ɼ 4PMPWJPMJOͰֶश͞Εͨ%%41ΦʔτΤϯίʔμͰ࠶ੜ੒ 2020/1/31 16

17.

·ͱΊ pσδλϧ৴߸ॲཧͷ஌‫ݟ‬ΛऔΓࠐΜͩԻ੠߹੒ͷख๏ΛఏҊ pߴ඼࣭ͷԻ੠ੜ੒͕Ͱ͖Δ͜ͱΛࣔͨ͠ pཁૉΛ෼ֶ͚ͯश͢ΔͨΊɼ֤ཁૉΛಠཱʹૢ࡞Ͱ͖Δ 2020/1/31 17