【ゼロから作るDeep Learning】3.5~3.7

2024年度前期輪読会#3 ニューラルネットワーク 3.5〜3.7 名古屋大学 情報学部 人間・社会情報学科 吉村昂樹 0

2. 便利なテンプレ集 目次 1. 出力層の設計 2. 手書き数字認識 3. まとめ 1

1. 出力層の設計 2

1. 出力層の設計 問題と活性化関数 回帰問題 分類問題 解く問題 解く問題 連続的な数値の予測 活性化関数 恒等関数 データがどのクラスに属するか 活性化関数 ソフトマックス関数 3

1. 出力層の設計 ソフトマックス関数 数式 exp(x)はexを表す指数関数 (eは2.7182…のネイピア数) 出力層がn個あるうちのk番目の出力ykを求め る計算式 プログラム 4

1. 出力層の設計 ソフトマックス関数 実装上の注意点 問題点：オーバーフロー 解決策（数式） 5

1. 出力層の設計 ソフトマックス関数 実装上の注意 解決策（Pythonによる実装） 6

1. 出力層の設計 ソフトマックス関数の特徴と出力層 特徴 (1) 適用しても各要素の大小関係は変らない (2) 出力が0～1.0の実数、総和が1 → 「確率」として考えられる (3) 出力層では省略される 出力層のニューロン数 分類したいクラス数に基づいて適宜決める (例) 0～9の手書きの数字の画像の分類 → 10クラス分類 = 出力層のニューロン数は10 7

2. 手書き数字認識 8

2.手書き数字認識 MNISTデータセット 特徴 手書き数字の画像セット（0～９までの数字画像で出来ている) 訓練画像：60000枚、テスト画像：10000枚 それぞれの画像データは 28×28のグレー画像で、各ピクセルは0~255をとる それぞれの画像データには書いてある数字がラベルとして与えられている 9

2.手書き数字認識 MNISTデータセット プログラム 10

2.手書き数字認識 MNISTデータセット load_mnist関数 返り値：(訓練データ, 訓練ラベル), (テスト画像, テストラベル） 引数：① normalize=True ピクセルを0.0～1.0に正規化（Falseにすれば0～255のまま） ② flatten=True 一次元配列する（True: 784, False: 1×28×28) ③ one_hot_label=False 正解となる部分を1に、それ以外は0にする (例) Falseのとき 画像に書かれた数字(正解)が2ならば、ラベルは2 Trueのとき 画像に書かれた数字(正解)が2ならば、ラベルは [0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0] となる 11

2.手書き数字認識 MNISTデータセット 正規化 データをある決まった範囲に変換する処理のこと ここではnormalize=Trueにして画像の各ピクセルを255で除算し、 0.0～1.0にした 前処理 ニューラルネットワークの入力データに対して何らかの変換を行うこと データ全体の分布を考慮した前処理が必要 識別性能の向上や学習の高速化が実験で示されている 12

2.手書き数字認識 ニューラルネットワークの推論 ネットワークの構造（ニューロン数） 入力層：784個（画像のサイズ 28×28=784から） 隠れ層：一つ目が50個、二つ目が100個（本来なら任意の個数に設定可能） 出力層：10個 （0～9の10クラスに分類したいから) プログラム（関数の定義） 13

2.手書き数字認識 ニューラルネットワークの推論 プログラム（関数の定義） 14

2.手書き数字認識 ニューラルネットワークの推論 プログラム（推論） 15

2.手書き数字認識 バッチ処理 バッチ処理 predict関数では一度につき1枚の画像についてしか予測を行えなかった →一度に複数の画像について予測したい 例えば100枚を1つのまとまり(バッチ)として処理をしたい メリット：1枚当たりの処理時間を大幅に短縮できる 16

2.手書き数字認識 バッチ処理 形状の推移 入力画像が１枚の場合 入力画像が100枚の場合 17

2.手書き数字認識 バッチを使ったニューラルネットワーク プログラム 18

まとめ ニューラルネットワークの順方向の伝播について述べてきた まとめ１ 前章のパーセプトロンと、ニューロンの信号が階層的に伝わるという点で同じ まとめ２ 信号を変化させる活性化関数が異なっていた まとめ３ パーセプトロン：信号が急激に変化するステップ関数 ニューラルネットワーク：滑らかに変化するシグモイド関数 19