---
title: 【ゼロから作るDeap Learning】5.5~5.8
tags: 
author: [京都大学人工知能研究会KaiRA](https://docswell.com/user/kyoto-kaira)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/G75MQ29L74.jpg?width=480
description: 【ゼロから作るDeap Learning】5.5~5.8 by 京都大学人工知能研究会KaiRA
published: May 28, 26
canonical: https://docswell.com/s/kyoto-kaira/ZPRWXL-2026-05-28-215156
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/G75MQ29L74.jpg)

2026年度前期輪読会 #6 (2026/05/28)
第5章 誤差逆伝播法
京都大学 工学部 情報学科 B1
柴田 倫宏
0


# Page. 2

![Page Image](https://bcdn.docswell.com/page/9J29P423ER.jpg)

アジェンダ
◼ 活性化関数レイヤの実装
◼ Affine/Softmaxレイヤの実装
◼ 誤差逆伝播法の実装
◼ まとめ
1


# Page. 3

![Page Image](https://bcdn.docswell.com/page/DEY45MY8JM.jpg)

活性化関数レイヤの実装
ReLUレイヤの挙動
順伝播
逆伝播
2


# Page. 4

![Page Image](https://bcdn.docswell.com/page/VJNYNWP978.jpg)

活性化関数レイヤの実装
ReLUレイヤの実装
3


# Page. 5

![Page Image](https://bcdn.docswell.com/page/YE9PRX33J3.jpg)

活性化関数レイヤの実装
Sigmoidレイヤの挙動
↑ Sigmoid関数 (分解)
4


# Page. 6

![Page Image](https://bcdn.docswell.com/page/GE8DW2MLED.jpg)

活性化関数レイヤの実装
Sigmoidレイヤの挙動
まとめて表現できる
Sigmoid
5


# Page. 7

![Page Image](https://bcdn.docswell.com/page/LELMN23Q7R.jpg)

活性化関数レイヤの実装
Sigmoidレイヤの実装
Sigmoid
6


# Page. 8

![Page Image](https://bcdn.docswell.com/page/4JMYX8MKJW.jpg)

アジェンダ
◼ 活性化関数レイヤの実装
◼ Affine/Softmaxレイヤの実装
◼ 誤差逆伝播法の実装
◼ まとめ
7


# Page. 9

![Page Image](https://bcdn.docswell.com/page/PJR9N5V679.jpg)

◼Affine/Softmaxレイヤの実装
Affineレイヤの挙動
成分ごとに計算すれば、逆伝播が行列積で
正しく表現されていることが確認できる。
と
はどちらも行列Aの転置を表す
8


# Page. 10

![Page Image](https://bcdn.docswell.com/page/PEXQNKZDJX.jpg)

◼Affine/Softmaxレイヤの実装
Affineレイヤの挙動 – 式の検証
9


# Page. 11

![Page Image](https://bcdn.docswell.com/page/3EK9N58DED.jpg)

◼Affine/Softmaxレイヤの実装
Affineレイヤの挙動 – 次元の検証
Affineレイヤ
(3項行ベクトル(3,)と1行3列の行列(1, 3)は同じ形)
バッチ版Affineレイヤ
(最初の軸に関する和とは、ここではNデータ分の合計をとること)
10


# Page. 12

![Page Image](https://bcdn.docswell.com/page/L73WVK2P75.jpg)

◼Affine/Softmaxレイヤの実装
Affineレイヤの実装
11


# Page. 13

![Page Image](https://bcdn.docswell.com/page/87DK83Z3JG.jpg)

◼Affine/Softmaxレイヤの実装
Softmaxレイヤの挙動と実装
ソフトマックス関数と交差エントロピー誤差を組み合わせることで、
逆伝播がSoftmaxレイヤの出力と教師ラベルの差分というきれいな値になる。
12


# Page. 14

![Page Image](https://bcdn.docswell.com/page/VJPK84DPE8.jpg)

アジェンダ
◼ 活性化関数レイヤの実装
◼ Affine/Softmaxレイヤの実装
◼ 誤差逆伝播法の実装
◼ まとめ
13


# Page. 15

![Page Image](https://bcdn.docswell.com/page/2EVVNX1VEQ.jpg)

誤差逆伝播法の実装
実装の流れ
1. ミニバッチ
訓練データの中から一部のデータを選ぶ
2. 勾配算出
重みやバイアスのパラメータについて、
損失関数の勾配を求める
3. パラメータ更新
各パラメータを勾配方向に微小量だけ更新する
→この作業を繰り返す
14


# Page. 16

![Page Image](https://bcdn.docswell.com/page/57GLKV21EL.jpg)

誤差逆伝播法の実装
勾配の確認
数値微分
誤差逆伝播法
実装が複雑になりやすい
求めた勾配を比較
実装が正しいことを確認
15


# Page. 17

![Page Image](https://bcdn.docswell.com/page/4EQYN6PNJP.jpg)

誤差逆伝播法の実装
実装コード(GoogleColab)
実装コード
カ
ーソル単色塗り
つぶし
https://colab.research.google
.com/drive/16rSVOuwHBpKs
SnO3AzuhUXnah9dqXewW
?usp=sharing
16


# Page. 18

![Page Image](https://bcdn.docswell.com/page/KJ4WG4Y371.jpg)

アジェンダ
◼ 活性化関数レイヤの実装
◼ Affine/Softmaxレイヤの実装
◼ 誤差逆伝播法の実装
◼ まとめ
17


# Page. 19

![Page Image](https://bcdn.docswell.com/page/LE1YD46Z7G.jpg)

まとめ
• 計算グラフによって計算過程を視覚的に把握できる。
• 計算グラフでは、計算を分解して局所的な計算で表すことで全体の計算を行う。
• 計算グラフの順伝播では通常の計算を行い、逆伝播では微分計算を行う。
• ニューラルネットワークをレイヤに分けて実装することで勾配の計算を効率化できる。
• 数値微分と誤差逆伝播法の結果を比較することで、誤差逆伝播法の実装が正しいこと
を確認できる。
18


# Page. 20

![Page Image](https://bcdn.docswell.com/page/GEWGYXW6J2.jpg)

出典・権利表記
参考文献
• 輪読用書籍
斎藤康毅, 『ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装』, オライ
リー・ジャパン, 2016.
•
コード引用
The MIT License (MIT)
Copyright (c) 2016 Koki Saitoh
Modified by Anonymous
Based on:
[1] (Accessed: 2026-05-)
[2] (Accessed: 2026-05-)
19


# Page. 21

![Page Image](https://bcdn.docswell.com/page/47ZLX65RJ3.jpg)

出典・権利表記
--- MIT License Text --Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the
"Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish,
distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to
the following conditions:
The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software.
THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT
NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND
NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM,
DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.
20