マンガでわかる機械学習 4章

4章 ディープラーニング p.90 5コマ目 • 荒木雅弘(著), 渡まかな(作画), ウェルテ(制作) : 『マンガでわかる機械学習』 （オーム社, 2018年） • サポートページ

• https://www.ohmsha.co.jp/book/9784274222443/
• https://masahiroaraki.github.io/mangaML/

4章のストーリー • 清原は、ぶどう農家から作物の自動ランキングシステムが作 れないかという相談を受ける • キュウリのランキングシステムをディープラーニングを使っ て作成したという雑誌記事を発見する • さやかは清原にディープラーニング全般と、画像認識に有効 な畳み込みニューラルネットワークについて教える

この章の内容 • 基本的なニューラルネットワーク • 多層ニューラルネットワーク • 畳み込みニューラルネットワーク

ニューラルネットワークのアイディア • 生物の神経細胞（ニューロン） • 複数の経路から入力された電気信号の和が一定値以上になれば、興奮 して電気信号を別のニューロンに伝える ニューロン

基本的なニューラルネットワーク • ニューロンの働きを単純化したモデル • 入力の重み付き和＋しきい値処理 入力 x1 しきい値関数がシグモイド関数の 場合は、ロジスティック識別と同じ w1 x2 w 2 wd xd Σ 重み付き和 しきい値関数 出力

基本的なニューラルネットワーク • 線形識別面の重み付き和で非線形識別面を実現 中間層のユニット数を増や せばいくらでも複雑な識別 面を作ることができる

基本的なニューラルネットワーク • ニューラルネットワークの学習 • 誤差逆伝播法 p.110 4コマ目

基本的なニューラルネットワーク • 誤差逆伝播法 出力層 伝わる誤差量 x1 中間層 重みw 出力g 正解y x2 誤差 x3 修正式 入力x

基本的なニューラルネットワーク • 3層のニューラルネットワークの性質 • 中間層のユニット数を増やせば、任意の非線形識別面を学習することが 可能 ⇒ 容易に過学習してしまう • 多階層にすれば（生物の視神経の処理のように）特徴抽出処理 も学習できる可能性がある • 出力層から遠ざかるにつれて誤差量が消失して学習ができない ⇒ 勾配消失

多層ニューラルネットワーク • 特徴抽出前の情報を入力して識別 ... ... ... 入力層 中間層 出力層

多層ニューラルネットワーク • 多層での学習が可能になった要因 • 事前学習法 • 入力層から順に入力信号を再現する学習を行って、逆伝播法を実行する 前に、ある程度適切な重みに調整しておく • 活性化関数の工夫 • 微分しても大きく値が減らない活性化関数を用いる • 過学習の回避 • ドロップアウト

多層ニューラルネットワーク • 事前学習法

多層ニューラルネットワーク • 活性化関数の工夫 • ReLU(Rectified Linear Unit) • 入力が正の場合、微分値が1となり勾配消失が起こりにくい • 入力が負の場合、ユニットの出力が0となり学習対象のパラメータ削減に寄与する

多層ニューラルネットワーク • ドロップアウト

畳み込みニューラルネットワーク • 問題に応じてニューラルネットワークの構造を工夫 • 画像 ⇒ • 自然言語 畳み込みニューラルネットワーク ⇒ リカレントニューラルネットワーク

畳み込みニューラルネットワーク • 畳み込みニューラルネットワークの構造

畳み込みニューラルネットワーク • 畳み込み層の処理（＝フィルタ）

畳み込みニューラルネットワーク • 畳み込み層の処理とプーリング 上位のユニット ほど複雑な特徴 を捉えているこ とになる

転移学習 • 転移学習とは • 大量のデータで学習させたネットワークを利用 • 少ないデータ量でもDNNが活用できる可能性