[DL輪読会]Deep Learning 第3章 確率と情報理論

>100 Views

June 01, 18

スライド概要

2017/11/06
Deep Learning JP:
http://deeplearning.jp/seminar-2/

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

(ダウンロード不可)

関連スライド

各ページのテキスト
1.

����������������� ���� @�� ������� ���������� ������� ����� �� �� �� ������������

2.

�� • 4.52 • ��������1��3��1�� • ����1���13� • �����967� • �������� • ���������3����� • �������� • ��������� • �������� • ������������� • ���������� • ����������3��� • ������0������ • ����������0��� • �������1����

3.
[beta]

• .c2QZ_7]4FP:UX6=FV

• ,c2QNSG@4Q0

FV

– NSQ9N3W?"8< =7/`A
– -IHLR5NSQ>5
• NS1^%&() \Q 

"HNSQ"M

E! CY8<BOJd#+$*')";B
• NSTB"MKD !%&()[ a"4Q/Fb

4.

� � ������� • ���������������������� – �������������� • ����������������� – ������������������ • ���������� – �������� • �������x������������������� – ������������� – ��������� • �����������������������)� – �������

5.

��� ������� •  ���������������������� – ���y��������������� • ������������������������� •  ���������������������� –  �������������������nq���� • ���������������f������������������ �������������� – �������������������������������������������� • ��������������������������

6.

�������� •  ���������������� – ������������������� • ������������������������������������� ����������� – �3 �!1��!2������3������ – �3 �$�������������������� • ������������

7.
[beta]
58*>
•      



– 5873#5873 6)1%&;'' A"$(4<&"
• 73=?024<&+.-!&
– =?73 589:,3
– 0273 58@/,3

8.

�������� � ����������� •  �������������������������������� – ��������� – �������������������������������� • ������!�������� – !������x�f������������������� – ��������������������������s����������� ��������������������������������������� �������� • ∀$ ∈ x, 0 ≤ !($) ≤ 1 – ��� • ∑$ !($) ∈ x =1

9.

,.$2  13-),./0') •          – *-),.$2 – !(x = %, y = () %&x = %y = (",.#(45! (%, ()!+"

10.

����fl�� � �����fl���� •  ����������������������������������� – �����fl�� • fl����!�������� – !������x��������������������� – ∀$ ∈ x, !($) ≥ 0�����p(x) ≤ 1�������������� – ∫ / $ 0$ = 1 • fl����!($)���������fl�����b���� – eu�2$��������fl�!($)δ$�n����

11.
[beta]
ED4G
• 



   

  

– @;(?3(>A4G4"$,&!(64?3(>A4G
•

CH@;x, y '#$$(x, y)4"$,& ,&$ x )

(sum rule)%=*+-,

• 7:@;(53

2I/.0<B&9J8F 1

12.
[beta]
 *&)'+
•      



– !#.,*&%(#.,!'+

– !(# = x) > 0 $-"!

13.
[beta]
51437#.:9
• 



 %$   

– 0/#376/"&+-37)8$' #6/",&51437)8
")2!&*(&

• 

14.

��� ��������� • �������x�y�����7�x���a����y���a������ ����c��������������������������������� ���� – x ⊥ y��� • ����z7���������������x�y���������7�z ����d���������������������x�y� ������������������������������� – x ⊥ y|z���

15.

�������������� � ��� • ����!(x)������%(&)8����������������������������� – !��&  %    •  • 

16.

   •    –   ! !   •  –        !    

17.

�������������� 2 ��� • ������������ – ������������������������������������� • ������������������� – ������������� • ������������� – ����������� • ��������������������������c�

18.

��� ���9���� 2 ������� • ������������������������ – ���������������� – ��������! ∈ [0,1]������ • ����������

19.

��� �������� � �������� •  ������������ ��� ������������ – !���������������������������!����� • ����" ∈ [0,1])*+ ������n �,- �.�������� • ���!���������1 − 0⊺ "�r���� • ������������ –  ������������������������� ����� • {0, … , 4]) ������������ • ������������������o����������������l�� �������� • ��������������������������n

20.

��� �������� 2 ����� • ����������������������������������������������� – ��������! ∈ ℝ�$ ∈ (0, ∞)�����

21.

��� �������� � ����� • ��3�����������! = # $% ������� – �������������������������

22.

��� ���L��c� � ���c� • r�c��������ltM���c����M��������L�� ����������r�� – ����������������������� • �����L���t������Mr�c�ML� – ��L������������������m����������icM c���������r�c�M�������������m��� – e�c����n����c�����r�c��ltM�����l�����L� ����m�� • ����������������

23.

��� �������� � ����� •  ���������������������������������� – �����ℝ" ����� – �����#������ 9$��������� ����� –  ����������������� % = $'( ������

24.
[beta]
 3E8">@5I  +),5I
• 





       

– ?5J4H(6G4H#A7'!;
• C<4H$,*/F#A7 &$%   

2K.-0=B!:L9D 1

25.

��� �������� � ����������� • ������������������������� – ���������! = 0������������������������ • ��������������������� – ����$        

26.

��� �������� 9 ������������ •  �(����������������� –  �(������������������� !(#)������������� • ��������������������������������� – ����������������������� ����������p���� & ' • ������������������%��������������� • ���������������������������i�������� • ���������scn�������������

27.

��� �������� � ����� • ���������������������� – ���o������bE������������ • !(#)��������������� • ��������������� – ���������������������������� • ����������������� – dm��nu�������� • �����������������#

28.

��� �������� 9 ����� • ����������������� ��� – ����! " # = % ������ – ��������������s�����&(() ����*(() ��� • ������vt�������� – ������������������%�m�� ������������������ ���� � • �o���+, = -(# = %) • ��o��"������o�� # – �� � ���������������������� -(#|/)� "������n������ – ���y������������������������������y���� ������������  ����������������������� ���

29.
[beta]
(9+-14./5
•







     

– 86!#&%!47<:,
• $'" );!#&%!*023

30.

����������������� • ��������� �� – ������� • �����!, #������������������ –  ����������������������� $ % = max{0, $}�����������

31.

��������� • ������������� – !(y|x)�B������!(x)�������! x y ������ • ���!(y) = ∑) ! * + ! + �����������

32.

��������������� � ��� ���������������� • – �������������������������� – �������������� • ���������������� –  ������������������� • �������������������������t���������� • ���w��������������������������������

33.

��������������� 2 ��������� • ��������� – ���������������������� • �����������!, #������������������$����% = $(!)� ������� – ������������������������������������������ • �����

34.

�����sp�� � ��sp������������ • sp������ • ��x = #� ����������������� – I(x)�ay������ �������� ' ( • ������� �����������r���sp� •     ���������������� – ����������������� – �������������������sp� – ���a���������������������t������������� – x���������   �������������������� �����

35.

��������� � ()�������� •      �(��������)�������()������������� – ������x�a����������P(x)�Q(x)����������������� ���������u� – ()����������� • �� • �������������������������������������� �������������n������ • �a�

36.

��������� 1 �������� • ��������������� – ����������������������� • Q�K����������������������������������

37.

������������� • ���������������������������� – �������������������������� • ��� ���������(�)���������(���������(�)������� ����(����������)��� – ������������������� • �����)���������(�(������)������������ �������)������������ – ����������������������������������

38.

������������� • ������������� – U4����������� – ���4������������� • ��������������� – U4����������� – �������������� – ���i��������������� • Φ�������������������������Z������������

39.

���� � • ������)���� � – ���������� �� ���� � ��� ���� ��� ��� ���� �� ��� ���� � � ��� ���� � ��� • �������� ��� �� ������ – �� ��

40.

���� � • �������9�D�D� – 69D������������������9 ��D������9��D���������� – ���� ������������9�9��D���������������������������������������� ����69D�������������������������