【ゼロから作るDeep Learning】5.1~5.2

2024年度前期輪読会＃６「ゼロから作るDeep Learning」 ５章 誤差逆伝播法 （5.1~5.2） 理学部理学科⼀回 栗岡幸作 0

5章 ⽬次 誤差逆伝播法 01 計算グラフ 02 連鎖律 03 まとめ 1

1. 計算グラフ 2

5.1計算グラフ 計算グラフとは︖ ・ノード（頂点）とエッジ（有向辺）で構成されるグラフ。 ・エッジは変数、数値。ノードは⼊⼒に対して出⼒値を⼀つ与える 写像。 ・あるノードの出⼒エッジを別のノードの⼊⼒エッジとできる。 g ・複数の連結したノードを⼀つのノードと⾒なすことが可能。 x f y g z x h z 3

計算グラフを⽤いる意味 ・計算グラフを⽤いると、「局所的な微分」を計算グラフに逆⽅向 に伝播させることで、⽬的とする微分の値を効率的に求めること ができる。 4

5.2 連鎖律 5

5.2 連鎖律 計算グラフの逆伝播 微分の逆伝播 下流の信号 E とノードの局所的な微分の積を上流へと伝播 出典︓https://qiita.com/edo_m18/items/7c95593ed5844b5a0c3b 6

5.2 連鎖律 連鎖律 連鎖律（chain rule）とは、１変数関数の合成関数を⼀般の場合に 拡張したもの。 ・１変数関数の合成関数の微分 𝑑𝑓 𝑑𝑓 𝑑𝑡 = & 𝑑𝑥 𝑑𝑡 𝑑𝑥 ・２変数関数の合成関数の微分 𝜕𝑓 𝜕𝑓 𝜕𝑡 = & 𝜕𝑥 𝜕𝑡 𝜕𝑥 例︓𝑓 𝑥, 𝑦 = (𝑥 + 𝑦)! . 𝑓 = 𝑡 ! . 𝑡 = 𝑥 + 𝑦として 𝜕𝑓 𝜕𝑓 𝜕𝑡 = & ＝3𝑡 " & 1 = 3(𝑥 + 𝑦)" 𝜕𝑥 𝜕𝑡 𝜕𝑥 7

5.2 連鎖律 連鎖律と計算グラフ x f y 𝜕z 𝜕t 𝜕z & ＝ 𝜕t 𝜕y 𝜕y t 𝜕z 𝜕t g z 1 連鎖律より、zのyについての微分を求めることができた。 8

５章 逆伝播法 まとめ まとめ１ まとめ２ 計算グラフは局所的な計算によって構成される。 計算グラフの計算の局所性は、微分の逆伝播においても成り立つ。 それは、連鎖律(chain rule)によって保証される。 9

10