[DL Hacks 実装]MIDINET: A Convolutional Generative Adversarial Network For Symbolic-Domain Music Generation

MIDINET: A Convolutional Generative Adversarial Network For Symbolic-Domain Music Generation 2017.12.4 � �� ���� z�������� 1

���� • In Proceedings of the 18th International Society for Music Information Retrieval Conference (ISMIR’2017) • �� 3 • ����J�c��c��� MuseGAN: Multi-track Sequential Generative Adversarial Networks for Symbolic Music Generation and Accompaniment 2

�� • �� • ������ • �� • MidiNet • ��c�� • Generator � Discriminator • Conditioner CNN • �� • ��i 3

�� • ����t��W ����bm� �����������������c���� • ������d ����t��W��� • ��c���yC�t�� • ��c������mo����� audio domain symbolic domain • ���� • ����ac���b��������l������� • �����c�����I����hW� • �������������������� 4

��c�b�l����c����t • ��c��� • ' •   (5>
) • $ �����yC�bd����JD� 8���(1��c1/8c��c�) 5

��c�b�l����c����t • yC��� • �c���t�i� • ����dyC�t��b��� (���W�o) • yC�c��bdD���c��JD� (�b���c��t�M�N�) 6

�� • ��c����d RNN J��� • ���C��D�Wi • ��c��C�d�c��C�c��t�N�m�a��� • MelodyRNN, SampleRNN, … • WaveNet c�� • audio domain � CNN t��W������� • CNN d RNN mo��M����a��J�� • (��) WaveNet d1��c���C�t32GPUt��2���� 7

MidiNet • ����t��W ����bm� �����������������c���� • Generator c��d���(�yC�)���c�� • Discriminator c��d {��c��, ����W��}�yC� • ���W��t�����c��t�� (��c��t�o��) ��� Generator �� (optional) yC��� ��c ���W�� (or Priming Melody) Conditioner CNN 8

MidiNet • ��� 1 • ��������� In���W���A��C���c�����c��������� 1. https://www.hooktheory.com/theorytab 9

MidiNet 10

��c�� (����) 16 128 �� * Midi�C�c���t�� ! ∈ 0, 1 ' × ) ��� h = 128(��c��), w = 16 (16���J��c��) 11

��c�� (yC�) • yC��� • (��nM)��c��cyC�t�� • �C��(12�)�Major or Minor (0 or 1) c�13��c������� Key M or m Ex. D = [0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0] 12

Generator CNN � Discriminator CNN • y���d DCGAN • ��� + ∈ ,- t�G������t�� • ��t������Wi�Generatorc���d��c�t�� (Feature Matching) • ��c�C������W�C�c��t��N�m�a���b�� 13

Generator CNN � Discriminator CNN c�� • Discriminator c��� > 1 ./0 2[ log 7 * 1 • Generator c��� 8?@ 8 + log 1 − 7 ; < 8 ] • Discriminator 1�b���Generator d2��� (D c�J������Wi) ./0 > 1 2[ 1 − log 7 ;(< 8 )) 1 8?@ + C@ ||E* 8 − E; < 8 ||FF + CF ||EG * 8 − EG ; < 8 ||FF ] 14

Conditioner CNN • �����������a��t��b������ • ����a���mM����� • ����t��������Do Generator t�� ��c����c���J�� 15

MidiNet 16

MidiNet
(?-

2D

)C X

(08 )(?- 2D :
3= 2D( 4)#%)

4)#%

(?- 2D Conditioner CNN /

Conditioner Generator *7 <;

+.

%B@ concat

&"

A concat (!%,6

19)
17

MidiNet c��� • (1) Model1: ��c��ch�� • (2) Model2: ��c���yC�t�� (1) • ��c����d��c�h�h��ch concat • yC�d��c�� concat • (3) Model3: ��c���yC�t�� (2) • (1) ��ao��c����c����t concat 18

�� • MidiNet t TheoryTab c���A��C���50,496 (4208 * 12) ����� • MelodyRNN c3���(basic, lookback, attention)� MidiNet c Model 1, Model 2 t�� • ���� • ��� 21� (��10�d�����) • ��c���b���Priming Melody t�G����� • Priming Melody: �C����c�c1�� • 8���� 19

���� ����� ������ 20

���� • MidiNet Model 1d��c�����I�����a�b��snT��� mo�c����t������ MelodyRNN e��R�� • ��c���c�� MidiNet c Model2 J����J�� • �c��������c����NyC���t��������������� c�� • How Interesing? b��������JD����In��� Model 1c� J��J�� • How Interesing? → ���N���I • yC�b���������d�� • Model 2 dyC�b������J�����c������In����� 21

��i • ����t��W ����bm� ���������������������t��������� • ��c���yC�t�� • Conditioner CNN bmo�Generator b��c��c��t�� • MelodyRNN�c���� • MidiNet c�J���� • yC�������W Model 2 J������ • �����In���yC�b����a� Model 1 c�J interesting 22

�� • Conditioner CNN � Concat ����J��b�c��c��t����� cI • 8��Mn�an�c���N������cd�I� • yC�d���cyC�c��t�M�N� • ����dyC�c��t�M�N� �� �� • MuseGAN �M����� (�bMidi��c��r) 23