[DL輪読会]Deep Learning 第10章 系列モデリング 回帰結合型ニューラルネットワークと再帰型ネットワーク

>100 Views

June 01, 18

スライド概要

2017/12/04
Deep Learning JP:
http://deeplearning.jp/seminar-2/

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

(ダウンロード不可)

関連スライド

各ページのテキスト
1.
[beta]


 7>' 

0A 9<"%
,;1)8 !#$4;8$

*.&-3-+ ?/-:
 5=6B
(2@C



2.
[beta]
9B+ 

2C >@#&)
/?3,;!$%'" (5?;" (
 
 
-1*040. 6:7<=
6A 8D  



3.

�� • ���� • ������������� • ������������������ ��� • ����������������� ���������E������ • ������������E������ ������ • ����������� • ���������� • ��������������������E • ��������������� �������������������� • ������������������ • ������������������� • ������������� • ������������������ • �������������

4.

  • !-#'.% • -#'"+&) – *,($  

5.
[beta]
')%
• 











 

 

– HW[75/RK-)&9>?@:68A4&C
– W[B&U! " , ⋯ , ! % /RK-"%PJ

– ("0#&!'SQD&W[75&RK*SM

• 3%$-1271



– -=7@&Y$-IF!;?<5/ON• Y$-W[D&ET%G =7@/XL!-+%$,CZJV.-

6.
[beta]
 KP+:5#YC
• KP+:5#   
– BZ#KP)]&U)JKP+:5HI
– LNA"X\29:;3/1<*FD4:8.#QO'
–

V`AGA,-07 !(#) = &(! #'( ; *)

• ?^+"'!#@T?^+ −"'=@T)S_'#BZA
• -0/6">YC

• ]&U@T)[ER)YC' BZ)W$!HIM%('

7.
[beta]
 EL%1-T<
• EL%1-   
–

@7AX!(#) J>!>6&'). %(#) = ' % #() , ! # ; ,

• OPMU=V[ID#S

• 8W#S 9B#8W6H5#S +/12,(*K!
– ]"0+(*!OP#NB-?
-(#) = ' - #() , ! # ; ,

– ;Q OP-ID#\G$FZ#43:Y#RC!

8.
[beta]
 @C!/+L:
• L:F;-0&)
– MO2

=N.(1J349" $?

• .(1HI DHIPKE7
– <56#'&, 3*/-%?3PK8>! B

 GA

9.

��������������������� • ������������� – � ���������������+( %��� – � ���������������  &  +  ( %��� – R +( %����')"!* $  #

10.

�� ������������������ • � ��������������� – ����!�����������"������� • #������������ • $����������������� • %������������   ���

11.
[beta]
0E;)A!$

%&"

• J =-.#(2+8

'









–  <7519!"#ℎ:6 (2% CG/*)
• FBH

• D@
– &(() *(+) , ⋯ , *(()

? 3. (() >,9I4



12.

��������������������� •  ������������������������������������ – ��������������������������� • ����������������������� – ���������������������� � ���������������� • ������������� – �������������������������������� • ������������ – ��������������������������������������� ��� • ������������ � ����������������

13.

��������������������� • � ���������������    ��� – ������������������������������ • !�������������������������������� – ������������������������������������

14.

�� � �������������������� • � ���������������    ��� – ���������������������� – ������������� • ������������������������������������ �������

15.
[beta]
BI=<
• 



176J#&,)+/(

    "%&NK

– NK0"-*.4M! + 1#37 9@#C#17$ (&) '?:&

– EAD;OH5

– -*.28#17'-*."L#$!   '
-*. #G>"F&

16.
[beta]
DH@?#8=<I&*3/17.
• 

 %)*MJ

– L+52/1;F&C9$406"

-<K"*

– L+52/1;F&C9 !(A>GE
• &:9

#B'9,!MJ+*#*

17.

�� ������������������ • �  ����  – �������������������� • ��������������������  

18.
[beta]
  6F?4C/-.2+&
• 

!(NA>@





– D9")$>@,10&3J:")$KBIEM8*HL&G;#(
– =7%<")(

'54

19.
[beta]
  GUM@S957<3+"1]QLO
• 

   
'(
'(())

– ! = ∑$ !($) *,(

– >HX,]Q+,()) !-



=1

– ID,CE465;-(-.(/) ,F:8-,(/) # *,(

– 0 = - − 1 0t = 1.VK!+NR#']Q2CE[=(VT\
• . $ (0 < -)-F:8)#', $ ). $45 ,PB2/&

– $%#6789(1 − . $45

:

($45) :

)-JW1 − ℎ<

2/&AY?Z

20.

����������������������roik •  ������������������������������������� – ������!���������"������������"($) ������ ���������ro������ik����

21.
[beta]
C>"0+


•

1/'19I?4G)%(2!

DFE=HL! = {$

%

,⋯,$

(

}/'1;

–  78#&%,*6: JM78#&%,* − 13:

• O

K<"0+"0+

$ - .B@-!(17

1/'1AN54

*0.$=/(. ( )

22.
[beta]
 ^X6E@34FC;F(&+QnYHj>9<G5
• u t1D=9<! " 2_feW(&-)#JH
–

*.%&mpk*L!0KMIq+ifP)?EB8T10
!(") = & ! "'( , * " ; ,

• ?EB8b^2&0+'?EB8W,-(1)
– #$Mr/*0eWg/1#S'+Mr/ + 1*0eW+dZa_
fIq   '0(N[cV

• K ?EB8o)0MO7:9A']U'0(N[
• 0MO7:9A("+\+MO7:9A(+R`,/*sl)(N[

23.

��������������������������������� • ����������������� – � ��������������������� ������������ ����� • ���������������������������� – � �������������������������������������� ����� • ���)((����� – � �����!���������������� • ����!���������������!���������������� • �����������������!����! − # �������

24.

������������������������������� • ����������!������"����������� – ���������������� – �� • � ������������������!�������� – ����#������!������������$(&) ������ ������ • � ������$(() ������ • � ��������

25.

�� � �������������������������� • ������������ ! " # ,⋯," & ' # ,⋯,' & = )! " * * ' # ,⋯,' *

26.

�� � �������������������������� • ������������ ! " # ,⋯," & ' # ,⋯,' & = )! " * * ' # ,⋯,' * – ������������������������" �������������� ��

27.

���������)) • ����������������!(#) �������������� – �� ������������� .���������������������� •   �  – ��������������������))�� ������������������������� �))��������� • %(#) �������� &(#) ���������� – ����������� • ��������������������))��� • ())�������������������� �������������������

28.
[beta]
  *
•     8"9<:;?   
• 







8"9<:;?   



– VTB.]`7Q.VTB.]`0Yb'5
• ^WN[!Idgc!XKU\,+-O#5

• *$3L4E)
– e_GZ/!7AF
• Pf!/!DF]`" = (% & , ⋯ , % )* )7JH&(>:=@>:=@.]`

– a_GZ/AF]`, = (- & , ⋯ , -

).

)7CL'5(1-!Pf!-24SMR%365

29.
[beta]
  /
• DH/BH2fnC#d+-!-67!
– rm= <2fn!/"*5-1,!-#$%&(" ( , ⋯ , "
J(987"1,2:Ni

– IbshJe2OE2_a0+. :Zt1/)-RL

• Zt12XU#c*%8/C!fnWS:
gY1PM.$0!   
– VGT 1:^\C2?;>@1*8
– VGT  

2`D

• fn12Pl:BHfn2Pl1FK[&8
'/:N4
• qj3  o]p

+,

|! ( , ⋯ , ! +. )2Qk#OA

30.
[beta]
?<=@
• ''2'#40+0)
– #011&('..19 15*7# '0)+1#4101748+..'

• >=
– !%*/+&*7$'4  "'.(&'.+/+6+0)0'74#.0'6914-5
• *6625#4:+814)#$5 
– !*1  "'#40+0)*4#5''24'5'06#6+10575+0)0%1&'4'%1&'4(14
6#6+56+%#.#%*+0'4#05.#6+10
• *6625#4:+814)#$5  
– !765-'8'4  "'37'0%'61'37'0%''#40+0)9+6*'74#.'6914-5
• *6625#4:+814)#$5 



– !#*&#0#7  "'74#./#%*+0'64#05.#6+10$;,1+06.;.'#40+0)61#.+)0#0&
64#05.#6'
• *6625#4:+814)#$5  

31.

����������������� ���� ���� ������� �������������������������� ������ ���������� ������� ������� �� ���� ��

32.
[beta]
G?
JP8LB3I)%'1
ELI(,.0)%'1
 2=RK>HA
 #$&')%'1
 Q@56$!0 -(%'N4:
2O=CSN"'F
 
2=RK><M;
9D7*+/

33.
[beta]
 MP:OA6L0./4,
• %@E
– 8;'R)GI
– D9%R)GI'C%R)GI
– R)GI'5;

• 13.,*M

(

–  Q>%P&%7B  
–  #%13.,$JF$ *?"!(   
–  R)P'R)P%<K$-+.2N=*H8   

34.

������������������� • �������������� – ����)����������)�������) ��������� – ����������������

35.
[beta]
$73&1)
• :.-0%)

:.5%)

8+9

– *  "(6(!' 

4,2/#

36.

������������� • ����������������������� – ���� – )�����(����� – ������������������������������� – �������������������������������������

37.
[beta]
 <@$CF$GIEGU$>
• RA$J@VLQ$F;V?! 
– [md51#Y]d53_n3h+*9[p,7:MT$D
• <@$CF$GIEGU$>"  
• R=EHCF$GOBV 

– d59 1%.-j3CN>GSfs2oZ,7
• P@KXq3CN>GSfs

– `e3ik04#d59ca^0(7)1'8&6#Warlb3_n2g\./%7
 !  !  

38.
[beta]
YB78*)3
• 4=ZR>L;





2.+-W5:

YB78*)3<F$1,3&?E

– 786C*'+/OA&MD
S%IQKB"@JKBGOOA&MD$

– 

2.+-X$78*)3*0(-3

– OAVT
4OA&NP9VT %!#4OAHU$

39.

� ������������������������������� ���������������������������� – ������������������� – �������������������������������� – ������ ������������������ ���������������� – ������ • ����������������������������������� • �������������������

40.
[beta]
J!kRYo.*1h1:"?]%
• :"?]%





– Q4c\M/fmC>G
– J!kRYo    :"?]%NgE@<?


0W-&A<?H"9

– dSV38 KL;=<B'.0^j_Z/412.IlO

– XT8[,+5 b$`a8n76eU3 # @D"FGA<?H"90Pi()6

41.
[beta]

• +713;   

($*

– ,8*'!4– :)&#%0 

"*9/6.52

42.

���������� • ����������-���������������������������� – �����,������������ – ������� – �������-��������� – ������������

43.

 • !/+3#" – !  %25&!#" !94-601#" !8* ,)'(.7 – 8*! – $ !!

44.

���������� • ���������������� – �������������������������������������� – �����0����������������������������� – ������������������������������������

45.
[beta]
*6D>85?4
• F='!)
– 3/29E



– #  &%F=7A '!)
–

&%@0:.F=($'!)

– F= C-,+;<"1B

46.
[beta]
39QJ;#8K5
• @>#E'(P<&$#=D5
– TF#H"B7G(C&
– @>#E'(P%,/.*(=D5 :6&

– TF-)+0(MIS!1(O?&%"4#A 2N

–



   "%&=L5R

47.
[beta]
R^P!?@D
• :ACE;58H,$LU(\a'#$cM
–

  



• H+I-?@D017>d'&
JNTb#`W"Q'[X(R^P"VYg]'

– ?@D;58H,
– :ACE4ADI-=0I
•

#3EKe%_'ZO

• /I7I6<1G.0BI<1

– )9F1Sf#?*:2>$
  )7I0BI?*:2>"

48.

���� • �������9�D�D� – 69D������������������9 ��D������9��D���������� – ���� ������������9�9��D���������������������������������������� ����69D�������������������������