マンガでわかる機械学習 3章

3章 結果の評価 • 荒木雅弘(著), 渡まかな(作画), ウェルテ(制作) : 『マンガでわかる機械学習』 （オーム社, 2018年） p.80 7コマ目 • サポートページ

• https://www.ohmsha.co.jp/book/9784274222443/
• https://masahiroaraki.github.io/mangaML/

3章のストーリー • 清原は、教わった方法で100%の正解率を実現し、同僚の 九条の助けを借りて糖尿病診断のwebサイトを立ち上げる • しかし判定精度が悪く、多くの苦情を受ける • さやかは機械学習を使ったシステムの正しい性能予測法を 教える

分割学習法 • 全データを学習用と評価用に分ける • データが多くあるときに有効 全データ 学習用 データ 評価用 データ

分割学習法 • ハイパーパラメータチューニングを行うときは3分割 • 検証用データでハイパーパラメータの良さを評価 • 最終的な性能は評価用データで推測 全データ 学習用 データ 検証用 データ 評価用 データ

交差確認法 • データをm分割して、m回の評価の平均をとる • 学習データが少ない場合に有効

評価指標 • 混同行列から算出 識別器の出力 予測＋ 予測― 正解＋ true positive (TP) false negative (FN) 正解― false positive (FP) true negative (TN) データに付いた 正解 • 正解率

評価指標 • 目的に応じて適切な評価指標を選ぶ 正解＋ 予測＋ TP 予測― FN 正解― FP TN • 正解率 • 精度 • 再現率 • F値 トレード オフ