[DL輪読会]Deep Learning 第5章 機械学習の基礎

����������������� ���� ��� ������� ���������� ������������� �������� ���������������3541 �������

「Deep Learning」本輪読会 2017 5 章：機械学習の基礎 November 13, 2017 東京大学大学院経済学研究科 澤田研究室 D1 森下光之助

Contents 学習アルゴリズム 容量・過剰適合・過少適合 ハイパーパラメータと検証集合 推定量・バイアス・バリアンス 2/27

学習アルゴリズム

機械学習アルゴリズムとは • 機械学習アルゴリズムとは，データから学習ができるアルゴリズムの こと • Mitchell (1997) による定義： 「コンピュータプログラムは，性能指標 P で測定されるタスク T に おける性能が経験 E により改善される場合，そのタスク T のクラス および性能指標 P に関して経験 E から学習すると言われている．」 3/27

タスク T • 機械学習のタスクは機械学習システムがどのように事例（example） を実行するべきかという観点で記述される • 事例とは機械学習システムで実行したい対象や事象から定量的に測定 された特徴量（features）の集合である • 事例はベクトル x ∈ Rn で表す．ここで，ベクトルの各項目 xi は異な る特徴量である • 一般的な機械学習のタスクとして，分類（Classification），欠損値の ，回帰 ある入力の分類（Classfication with missing inputs） （Regression），転写（Transcription），機械翻訳，構造出力 ，合成とサンプ （Structured output），異常検知（Anomaly detection） リング（Synthesis and sampling），欠損値補完（Imputation of missing values），ノイズ除去（Denoising），密度推定（Density estimation）などがある 4/27

性能指標 P • 機械学習アルゴリズムの能力を評価するためには，その性能を測る定 量的な尺度を設計しなければならない． • たとえば分類タスクではモデルの精度（accuracy）を測定することが 多い • 未知のデータに対して機械学習アルゴリズムがうまく機能するかを知 りたいので，学習に使われるデータとは異なるテスト集合（test set） を用いて性能指標を評価する 5/27

経験 E 機械学習アルゴリズムは，学習過程においてどのような経験を獲得できる かによって以下の 2 つに大別できる • 教師あり学習アルゴリズム（Supervised learning algorithms） • 特徴量がラベル（label）や目標（target）と関連付けられているデータ を用いて学習を行う • 特徴量 x とラベル y から p(y|x) を予測 • 分類や回帰など • 教師なし学習アルゴリズム（Unsupervised learning algorithms） • ラベルが付いていないデータ集合から，そのデータ集合構造の有益な特 性を学習する • 特徴量 x とから p(x) や重要な特性を学習 • 密度推定やクラスタリングなど 6/27

データ行列 • 大多数の機械学習アルゴリズムでは，単純にデータ集合を経験する． （例外：強化学習（reinforcement learning））  (1)  (m) • 一般的にデータ集合は m 個の要素を含む集合 x , . . . , x として 記述できる • 特に x(i) と x(j) のサイズが同じ場合はデータ行列 X ∈ Rn×m として 記述できる 7/27

容量・過剰適合・過少適合

汎化 • 機械学習では，モデルの学習に使用した入力だけではなく，これまで 見たことのない新たな入力に対しても良い性能を発揮できることが求 められる（汎化（generalization）） • 機械学習が最適化と異なるのは，訓練誤差（training error）だけでな く，汎化誤差 （generalization error）（テスト誤差（test error）とも 呼ばれる）も小さくしたいという点である • データ生成過程（data-generating process）に，i.i.d. 仮定（i.i.d. assumptions）とを置くことで訓練誤差とテスト誤差の関係性を数学 的に調べることが可能になる 8/27

過小適合・過剰適合 • 訓練集合において十分に小さな誤差が得られない場合を過少適合（未 学習，underfitting）と呼び，訓練誤差とテスト誤差との差が大きすぎ る場合を過剰適合（過学習，overfitting）と呼ぶ • モデルの容量（capacity）を変更することで過小適合・過剰適合をコ ントロールする • 実行する必要のあるタスクの真の複雑さと与えられる訓練データの量 に対して適切な容量があるときに，最もよく性能を発揮する 9/27

過小適合・過剰適合 • 容量が小さい場合は訓練誤差が大きい（過小適合） • 容量が増大すると訓練誤差は減少するが，訓練誤差と汎化誤差の差は 広がる • 最終的にはその差が訓練誤差の減少量を上回る（過剰適合） 10/27

ノーフリーランチ定理 • データを生成する分布すべてを平均すると，どの分類アルゴリズム も，過去に観測されていない点を分類する際の誤差率は同じになる • つまり，他の機械学習アルゴリズムよりも普遍的に良いと言える機械 学習アルゴリズムは存在しない • よって，普遍的な学習アルゴリズムや絶対的に最良の学習アルゴリズ ムを探し求めることではなく，対象としたいデータ 生成の分布から 抽出されるデータに対して良い性能を発揮する機械学習アルゴリズム がどのようなものであるかを理解することが目標 11/27

正則化 • 正則化項（regularizer）と呼ばれるペナルティをコスト関数に追加 す ることで，関数 f (x; θ) を学習するモデルを正則化できる． • ex. 重み減衰（weight decay） J(w) = MEStrain + λw⊤ w 12/27

ハイパーパラメータと検証集合

ハイパーパラメータ • ほとんどの機械学習アルゴリズムには，そのアルゴリズムの挙動を制 御するための設定値がある．この設定値はハイパーパラメータ （hyperparameters）と呼ばれる． • 訓練集合で学習された場合，このようなハイパーパラメータは常に可 能な範囲で最大のモデル容量を選択するので，結果的に過剰適合に なる • この問題を解決するためには，訓練アルゴリズムが観察しない検証集 合（validation set）が必要になる． 13/27

交差検証 k-分割交差検証アルゴリズム 14/27

推定量・バイアス・バリアンス

点推定量 • 関心のある量（パラメータなど）について「最良の」予測を 1 つ提示 する試みを点推定と呼ぶ •  • パラメータ θ の点推定を θ で表す  を m 個の独立同一分布（i.i.d.）のデータ点から成る 集合とする．点推定量（point estimator）もしくは統計量（statistic） は，データの任意の関数 x (1) ,...,x である (m) θm = g (x(1) , . . . , x(m) ) • なお，現段階では，真のパラメータの値 θ は固定であるが未知であ り，点推定 θ は確率変数と仮定する 15/27

より望ましい推定量 • 良好な推定量は，訓練データを生成した真の潜在的な θ に近い出力を 持つ関数 • つまり，バイアスや分散が小さい推定量や，一致性を持つ推定量はよ り望ましい推定量と考えられる 16/27

バイアス • 推定量のバイアスは関数やパラメータの真の値からの期待偏差で あり，     bias θm = E θm − θm で定義される．バイアスは小さいほうがより良い推定量だと考えら れる．     • bias θm = 0 つまり E θm = θm のとき推定量は不偏（unbiased）     • limm→∞ bias θm = 0 つまり limm→∞ E θm = θm のとき推定量は 漸近不偏（asymptotically unbiased） 17/27

分散・標準誤差 • 推定量がデータサンプルの関数としてどれだけ変化すると予測される かを推定量の分散（variance）と呼ぶ．分散の平方根は標準誤差 （standard error）と呼ばれる．分散が小さいほうがより良い推定量だ と考えられる．     • 推定量の分散を Var θ ，標準誤差を SE θ で表す． 18/27

バイアスと分散のトレードオフ 一般に，バイアスと分散にはトレードオフの関係がある 19/27

二乗誤差 推定量の二乗誤差 (mean squared error) を用いることで，バイアスと分散 を同時に考慮することが出来る    2  MSE θ = E θ − θ  2  =E θ − E (θ) + E (θ) − θ    2  2 + E (E (θ) − θ) =E θ − E (θ)    + 2E θ − E (θ) (E (θ) − θ)    2 = Var θ + bias θ 20/27

一致性 • ここまで固定サイズの訓練集合における推定量の特性に注目してきた が，訓練データの量が増える場合の推定量の挙動にも注意が必要で ある． • 特にデータポイント数 m が増加するにつれて点推定量は真の値に収 束することが望ましい．これを数式で表すと plim θm → θ m→∞ であり，これを（弱）一致性（consistency）と呼ぶ．ここで plim は 確率収束 ∀ϵ > 0, を意味する．       P θm − θ > ϵ → 0 as m → ∞  • なお，P limm→∞ θm = θ = 1 つまり概収束（Almost sure convergence）する場合には強一致性をもつという 21/27

例：ガウス分布 具体例として，独立同一にガウス分布に従うサンプル集合  (1)  (m) を考える： x ,...,x     p x (i ) = N x (i ) ; µ, σ 2   2  (i ) x −µ 1 exp − =√ 2 2σ 2 2πσ 22/27

ガウス分布のサンプル平均（不偏性）okasii • このとき，サンプル平均（sample mean） m 1  (i) µ m = x m i =1 はガウス平均パラメータ µ の不偏推定量である E ( µm ) = E  1 m m  i =1 x (i)  m m 1  1   (i )  = = E x µ=µ m m i =1 i=1 • なお，推定量の分散と標準誤差は以下で求まる   m m m      1 1 1 1 Var ( µm ) = Var x (i ) = 2 Var x (i) = 2 σ2 = σ2 m m m m i =1 i =1 i=1  σ SE ( µm ) = Var ( µm ) = √ m 23/27

ガウス分布のサンプル平均（一致性） • サンプル平均は一致推定量でもある • 証明にはチェビシェフの不等式 ∀ϵ > 0, Var (X ) P (|X − E (X )| > ϵ) < ϵ2 を用いる • µ m にチェビシェフの不等式を適用すると ∀ϵ > 0, σ2 P (| µm − µ| > ϵ) < → 0 as m → ∞ 2 mϵ であり，よって µ m は一致推定量である 24/27

ガウス分布のサンプル分散 • 一方で，サンプル分散（sample variance） m  2  1 2 x (i ) − µ σ m = m m i=1 は不偏推定量ではない： E  2 σ m  =E =E   1 m 1 m m   x (i) − µ m i =1 m   i =1 2 x (i) − µ 2  − ( µm − µ) 2    m     2 1 2 − E ( µm − µ) E x (i ) − µ = m i =1 m−1 2 σ = m • ただし，漸近不偏ではある：  2 m−1 2 E σ m = σ → σ 2 as m → ∞ 25/27

ガウス分布のサンプル分散 • サンプル分散は一致性をもつ m  2  1 2 x (i) − µ σ m = m m 1 = m p i =1 m   i =1 x (i) − µ 2 → σ 2 as m → ∞ − ( µm − µ) 2 26/27

ガウス分布のサンプル平均（信頼区間） •  x (1) ,...,x (m)  心極限定理より √ は独立同一にガウス分布に従うと仮定したので，中 d  m ( µm − µ) → N 0, σ 2  as m → ∞ • これと連続写像定理を用いると √ µ m − µ m ( µm − µ) = SE ( µm ) σ m   d 1 2 → N 0, σ as m → ∞ σ = N (0, 1) となることがわかる（なお，→ は分布収束を表す） d • よって µ m の 95%信頼区間は ( µm − 1.96 × SE ( µm ) , µ m + 1.96 × SE ( µm )) で与えられる 27/27

Deep Learning 輪読会 2017 第5章 機械学習の基礎 (5.5-) 

 理学系研究科附属 天文学教育研究センター 学部4年 吉村勇紀

構成 5.5 最尤推定 5.6 ベイズ推定 5.7 教師あり学習アルゴリズム 5.8 教師なし学習アルゴリズム 5.9 確率的勾配降下法 5.10 機械学習アルゴリズムの構築 5.11 深層学習の発展を促す課題

5.5 最尤推定 • 最尤推定 – モデルを固定したとき、事例集合が発現する確率が最大となるパラメータを求める。 – アンダーフローを考慮して普通 log をとる

5.5 最尤推定 • KLダイバージェンスとの関係 – 最尤推定は訓練集合で定義される経験分布とモデル分布の差（KLダイバージェンス）を 最小化することに相当する – 上式の次の交差エントロピーの最小化と等しい – 最尤推定はモデル分布を経験分布（真のデータ分布は取り扱えない）に一致させる試み である

5.5.1 条件付き対数尤度と平均二乗誤差 • 条件付き対数尤度 – 入力xとモデルパラメータに対する出力yの条件確率から最尤推定量を定式化できる – 確率分布がガウシアンで事例が独立同一分布に従う場合

5.5.2 最尤法の特性 • 事例数 m → ∞ で最尤推定量は真値に漸近する – 真の分布がモデル集合内にあり、かつ – 真の分布とモデルパラメータが1対1対応している場合 • 最尤推定量の統計的有効性 – 同じ真値に対する一致推定量でも有限サンプルに対しては汎化誤差が異なる場合がある – mが大きい場合、最尤推定量より小さな平均二乗誤差を持つ一致推定量は存在しない

5.6 ベイズ統計 • パラメータの点推定ではなくパラメータの（事後）確率分布を推定する – 事後分布 ∝ 尤度関数 × 事前分布 – パラメータの事後分布を畳み込み積分することで最終的な予測を得る

5.6 ベイズ統計 • 例）ベイズ線形回帰 – パラメータの事前分布をガウシアンにとる – 途中省略（本文参照） – 事後分布もガウシアンになる – 事後分布の平均値を推定量と思うと、二乗和誤差関数に二次正則化項を加えた評価関数 で最尤推定した結果と一致

5.6.1 最大事後確率（MAP）推定 • MAP推定 – 事後分布の取り扱いは一般に困難である – 点推定量の方が扱いが簡単 – 事後分布が最大となる値を点推定する – ガウシアン事前分布+MAP推定 → 二次正則化 – 混合ガウス分布などの正則化を設計する際にも持ちいる

5.7 教師あり学習アルゴリズム • 教師あり学習 – 入力xと出力yの対応を学習する – 訓練集合に関してその対応関係は人間の手であらかじめ与えられる（かあるいは自動的 に収集される場合もある）

5.7.1 確率的教師あり学習 • 確率的教師あり学習 – 入力に対して線形なモデルを仮定し、出力はモデル値を平均とするガウシアンに従う – 最適な重みは正規方程式を解くことで一意に定まる。 – クラス分類など2項変数を取り扱う際はロジスティックシグモイド関数などの活性化関数 に入れる。 – この場合、最適な重みは閉形式の解は存在しない

5.7.2 サポートベクトルマシン • サポートベクトルマシン – 線形関数でモデル化する – クラス識別情報のみ出力する • カーネルトリック – モデルは事例との内積で表現できる – 特徴量関数の内積をとる → カーネル

5.7.2 サポートベクトルマシン • カーネルの利点 – カーネル関数を計算する方が内積を取るより、計算が簡単 – カーネルトリックによる改良を施したものを「カーネルマシン」あるいは「カーネル法 」と呼ぶ • カーネルマシンの欠点 – 決定関数の評価コストが事例数に比例する – スパースなαを学習することで評価コストを抑える → サポートベクトル – データ集合が大きいと訓練の計算コストが高くなる

5.7.3 その他の教師あり学習アルゴリズム • k近傍法 – データ集合のうち入力xに近いk個の平均をとる – 訓練集合が小さいと汎化性能は悪い – 訓練集合が大きくなるほど精度が上がる一方、同時に計算コストは上がる – 特徴量間の優劣がつけられない • 決定木 – 決定木によって入力空間を（軸に沿って）分割 – 決定木の訓練は本書の範囲を超える – 軸に沿わない決定境界は困難

5.8 教師なし学習アルゴリズム • 教師なし学習 – 訓練集合の特徴量を抽出するが教師信号は学習しない – データの「最良」の表現を見つける – 単純な表現 → 低次元、スパース、独立

5.8.1 主成分分析 • 主成分分析 – 低次元で相関の小さい表現を学習する – 共分散行列が対角行列になるようなデータセットへの線形変換を学習する – 特異値分解（または対角化）によって変換行列を得る

5.8.2 k平均クラスタリング • クラスタリング – 入力x をone-hotコードベクトルh に対応させる – i番目のクラスに属する場合 h_i=1、それ以外の成分は0 • k平均クラスタリング – k個あるセントロイドの最適化とクラス割り当ての最適化を交互に行い収束させる • クラスタリングの問題点 – クラスタリングと現実世界との対応が明らかではない – 1つの特徴に対応する複数のクラスタリングが有りうる – 分散表現が好まれることもある

5.9 確率的勾配降下法 • 確率的勾配降下法(SGD) – ほとんどの深層学習はSGDで動作している – 勾配を用いた最適化 – 計算コストは通常O(m) – 勾配は期待値なので少ないサンプルだけで評価しても良い – 最終的に勾配方向にパラメータを進める

5.10 機械学習アルゴリズムの構築 • 機械学習を構成するもの – データ集合の仕様 – 誤差関数 • 負の対数尤度（＋正則化項） – モデル • 線形 or 非線形 – 最適化手順

5.11深層学習の発展を促す課題 • 高次のデータに対する困難 – 本章で扱う機械学習アルゴリズムでは音声認識や物体認識などの問題を解決できない – 高次のデータを扱う際は汎化が指数関数的に困難になる – 従来のアルゴリズムは高次データの汎化に適さない

5.11.1 次元の呪い • 次元の呪い – 次元が高いデータには困難が伴う – コンポーネントの数 > 事例数 – 例えば単純なm次多項式フィッティングだと係数がD^m個

5.11.2 局所一様と平滑化 • 平滑化事前分布 – 「学習する関数は小さな領域であまり変化してはならない」という仮定を反映した事前 分布 – k平均法や決定木も多かれ少なかれこの仮定を置いている • 複雑な関数 – 高次元な関数や領域毎に挙動が違う複雑な関数ではこの仮定は適切でない – タスク毎に固有の仮定を導入して解決する – 複数の階層を考えることで仮定を軽くする → ニューラルネット

5.11.3 多様体学習 • 多様体仮説 – 現実的なデータは高次元空間中の低次な領域に押し込まれている – ノイズデータ中に実際のデータを見出す確率は極めて小さい – 多様体を描く変換は、実際に想像可能なことが多い • 平行移動、回転、ぼかし、変色、…

���� • �������9�D�D� – 69D������������������9 ��D������9��D���������� – ���� ������������9�9��D������������������������������� �������������69D�������������������������