【ゼロから作るDeap Learning】5.5~5.8

2026年度前期輪読会 #6 (2026/05/28) 第5章 誤差逆伝播法 京都大学 工学部 情報学科 B1 柴田 倫宏 0

アジェンダ ◼ 活性化関数レイヤの実装 ◼ Affine/Softmaxレイヤの実装 ◼ 誤差逆伝播法の実装 ◼ まとめ 1

活性化関数レイヤの実装 ReLUレイヤの挙動 順伝播 逆伝播 2

活性化関数レイヤの実装 ReLUレイヤの実装 3

活性化関数レイヤの実装 Sigmoidレイヤの挙動 ↑ Sigmoid関数 (分解) 4

活性化関数レイヤの実装 Sigmoidレイヤの挙動 まとめて表現できる Sigmoid 5

活性化関数レイヤの実装 Sigmoidレイヤの実装 Sigmoid 6

アジェンダ ◼ 活性化関数レイヤの実装 ◼ Affine/Softmaxレイヤの実装 ◼ 誤差逆伝播法の実装 ◼ まとめ 7

◼Affine/Softmaxレイヤの実装 Affineレイヤの挙動 成分ごとに計算すれば、逆伝播が行列積で 正しく表現されていることが確認できる。 と はどちらも行列Aの転置を表す 8

◼Affine/Softmaxレイヤの実装 Affineレイヤの挙動 – 式の検証 9

◼Affine/Softmaxレイヤの実装 Affineレイヤの挙動 – 次元の検証 Affineレイヤ (3項行ベクトル(3,)と1行3列の行列(1, 3)は同じ形) バッチ版Affineレイヤ (最初の軸に関する和とは、ここではNデータ分の合計をとること) 10

◼Affine/Softmaxレイヤの実装 Affineレイヤの実装 11

◼Affine/Softmaxレイヤの実装 Softmaxレイヤの挙動と実装 ソフトマックス関数と交差エントロピー誤差を組み合わせることで、 逆伝播がSoftmaxレイヤの出力と教師ラベルの差分というきれいな値になる。 12

アジェンダ ◼ 活性化関数レイヤの実装 ◼ Affine/Softmaxレイヤの実装 ◼ 誤差逆伝播法の実装 ◼ まとめ 13

誤差逆伝播法の実装 実装の流れ 1. ミニバッチ 訓練データの中から一部のデータを選ぶ 2. 勾配算出 重みやバイアスのパラメータについて、 損失関数の勾配を求める 3. パラメータ更新 各パラメータを勾配方向に微小量だけ更新する →この作業を繰り返す 14

誤差逆伝播法の実装 勾配の確認 数値微分 誤差逆伝播法 実装が複雑になりやすい 求めた勾配を比較 実装が正しいことを確認 15

誤差逆伝播法の実装 実装コード(GoogleColab) 実装コード カ ーソル単色塗り つぶし https://colab.research.google .com/drive/16rSVOuwHBpKs SnO3AzuhUXnah9dqXewW ?usp=sharing 16

• https://colab.research.google
• https://colab.research.google.com/drive/16rSVOuwHBpKsSnO3AzuhUXnah9dqXewW?usp=sharing

アジェンダ ◼ 活性化関数レイヤの実装 ◼ Affine/Softmaxレイヤの実装 ◼ 誤差逆伝播法の実装 ◼ まとめ 17

まとめ • 計算グラフによって計算過程を視覚的に把握できる。 • 計算グラフでは、計算を分解して局所的な計算で表すことで全体の計算を行う。 • 計算グラフの順伝播では通常の計算を行い、逆伝播では微分計算を行う。 • ニューラルネットワークをレイヤに分けて実装することで勾配の計算を効率化できる。 • 数値微分と誤差逆伝播法の結果を比較することで、誤差逆伝播法の実装が正しいこと を確認できる。 18

出典・権利表記 参考文献 • 輪読用書籍 斎藤康毅, 『ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装』, オライ リー・ジャパン, 2016. • コード引用 The MIT License (MIT) Copyright (c) 2016 Koki Saitoh Modified by Anonymous Based on: [1] (Accessed: 2026-05-) [2] (Accessed: 2026-05-) 19

出典・権利表記 --- MIT License Text --Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions: The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software. THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE. 20