Pythonで機械学習を自動化 auto sklearn

Pythonで機械学習を自動化 auto-sklearn 2015/10/24 PyLadies Tokyo 1st Anniversary Party Yukino Ikegami @_yukinoi

自己紹介 • 名前: 池上 ゆきの • やってること: 自然言語処理・データマイニング • Python歴≒プログラミング歴 • ブログ – はてな: http://yukinoi.hatenablog.com/ – Qiita: http://qiita.com/yukinoi

• http://yukinoi.hatenablog.com/
• http://qiita.com/yukinoi

機械学習には…

いろんなアルゴリズムがある

α β γ いろんなハイパーパラメーターがある η λ C

α β γ いろんな組み合わせがある η λ C

一番いいのを頼む！

そこで Auto ML

auto-sklearn 与えられたデータをもとに scikit-learn の中から • よさげな前処理選んで • よさげな学習アルゴリズム選んで • よさげなハイパーパラメーター選んで それらをアンサンブル

どんな風にやるの？ From Feurer et al. 2015 1. Meta learning で初期値を得る 2. よさげな前処理/アルゴリズム/パラメーターを 探索 3. よさげなものを束ねる (アンサンブル)

Meta Learning • どの手法がどういうデータに向いているかを モデル化 – データ数、素性の数、データ数と素性数の比率、 – クラス数、欠損値の数、歪度、エントロピー, など OpenMLの140データセットから学習

よさげな組み合わせを見つける solverで探索 • 前処理/アルゴリズム/ハイパーパラメーター – SMAC • アンサンブル – runsolver

実際に試してみた • 10分間探索 – https://github.com/ikegamiyukino/misc/blob/master/machinelearning/autosklearn/Example.ipynb – 学習用と検証用でデータを9 : 1に分割 • Accuracy – Iris: 1.0 – digits: 0.975

• https://github.com/ikegami-yukino/misc/blob/master/machinelearning/auto-sklearn/Example.ipynb

Vagrantで試せるようにしたよ！ • https://github.com/ikegamiyukino/misc/tree/master/machinelearning/au to-sklearn

• https://github.com/ikegami-yukino/misc/tree/master/machinelearning/auto-sklearn

結び • AutoMLの一手法としてauto-sklearnを紹介 • 伸びしろがある感じだけど未来っぽくてよい

くわしくはこちら • AutoML – http://www.automl.org/ • auto-sklearn – https://github.com/automl/auto-sklearn – http://aad.informatik.uni-freiburg.de/papers/15-AUTOML-AutoML.pdf • scikit-learn – http://scikit-learn.org/ • OpenML – http://www.openml.org/ • SMAC – http://www.cs.ubc.ca/labs/beta/Projects/SMAC/ – http://www.cs.ubc.ca/labs/beta/Projects/SMAC/papers/10-LION-TBSPO.pdf • runsolver – http://jsat.ewi.tudelft.nl/content/volume7/JSAT7_12_Roussel.pdf

• http://www.automl.org/
• https://github.com/automl/auto-sklearn
• http://aad.informatik.uni-freiburg.de/papers/15-AUTOML-AutoML.pdf
• http://scikit-learn.org/
• http://www.openml.org/
• http://www.cs.ubc.ca/labs/beta/Projects/SMAC/
• http://www.cs.ubc.ca/labs/beta/Projects/SMAC/papers/10-LION-TB-SPO.pdf
• http://jsat.ewi.tudelft.nl/content/volume7/JSAT7_12_Roussel.pdf