Deep Learning 概論

2019 年度 実践セミナー 2020 年 1 ⽉ 25 ⽇ Deep Learning 概論 - 深層学習から⼈⼯知能について ⼤阪市⽴⼤学医学部附属病院 中央放射線部 ⽚⼭ 豊 ← ⼈⼯知能についてまとめた資料はこちら！ “♥ Like” で私のモチベーションがアップします．

講演スライドについて • 数式は使わず，概念の理解を主としています． • ⼈⼯知能についてまとめたスライドを SlideShare で公開しています．

Engineer・技師としての⾃⼰紹介 ………………………………………… 開 発 業 ………………………………………… • 1998 年 : オートバイ⽤マフラーの開発・製造 • • • (熱) 流体⼒学による流体解析 CAD/CAM を⽤いたマシニング オンラインショッピングシステム (cgi，JavaScript) の構築 ………………………………………… 放射線技師 ………………………………………… • 2003 年: ⼤阪⼤学医学部附属病院 (Intern) • 2004 年: 市⽴泉佐野りんくう総合医療センター (⾮常勤) • 2006 年: 社会医療法⼈仙養会 北摂総合病院 (医療情報) • 2007 年: ⼤阪市⽴⼤学医学部附属病院 (MI と MR) • 2018 年: ⼈⼯知能研究会 (⼤阪市⽴⼤学⼤学院医学研究科 放射線診断学・IVR 学) に Join ……………………………………… 主な研究内容 ……………………………………………………………………………………………………………………… • EGS4 を⽤いて低エネルギー領域の視野外 X 線のモンテカルロシミュレーション • Bilateral Filter を⽤いた核医学画像の画質改善 1 • Super-Resolution による放射線画像の⾼解像度化 2 • Compressed Sensing を⽤いた CT の被曝低減処理 • ⼆次元画像から三次元モデルの再構築 3 • 敵対的⽣成ネットワーク (Generative Adversarial Networks: GAN) を⽤いた放射線画像の⽣成 • 敵対的⽣成ネットワーク (Generative Adversarial Networks: GAN) を⽤いた⾳楽のスタイル変換 1) ⽚⼭ 豊, 上⽥健太郎, ⽇浦慎作, 他. ⾻シンチグラフィへのバイラテラルフィルタの適⽤. ⽇本放射線技術学会雑誌, 2013, 69.12: 1363-1371. 2) ⽚⼭ 豊, 上⽥ 健太郎, ⽇浦 慎作, 他. PET 画像に対する超解像を⽤いたデノイズ⼿法の適⽤. ⽇本放射線技術学会雑誌, 2018, 74.7: 653-660. 3) 脳動脈瘤コイル塞栓術において個々のコイル形態をモニタリングする装置の開発 ⽇本学術振興会 科研費 JP19K09533

Engineer・技師としての⾃⼰紹介 ………………………………………… 共同研究機関 …………………………………………… • ⼤阪市⽴⼤学⼤学院 医学研究科との共同研究 放射線科，放射線治療科，核医学科，脳神経外科 • 他⼤学および企業との共同研究 広島市⽴⼤学，古河電気⼯業，⾳楽機器メーカ ………………………………………… 共同研究内容 ………………………………… • 受諾開発やアルゴリズムの提供 多次元信号解析・処理アルゴリズムの開発 ディープラーニング学習済みモデルの提供 ……………………………………… 共同研究先の成果 …………………………… • MRA: 動脈瘤の⾃動検出4 • 胸部エックス線検査: 肺がんの検出 • マンモグラフィ: 乳がんの検出と分類 • 楽器: ビンテージアンプやエフェクタの再現 4) Daiju U., Akira Y., Masataka N., et al. Deep learning for MR angiography: automated detection of cerebral aneurysms. Radiology, 2018:180901. ⇒ 2019/09/17 医薬品医療機器総合機構 (PMDA) の医療機器認証済み

巷でよく⾔われる⼈⼯知能 (AI) • yes/no の分類 • a, b, c, … の分類 ⇒ 分類のためのモデル構築 • スパム分類 • ヒト・イヌ・ネコと⾔ったカテゴリへの画像分類 • AI に職が奪われる • FAX すらなくならない ⽇本ではきっと起こらない • アノテーションを⾏う 仕事を創造

⽶国放射線技師協会 American Society of Radiologic Technologists (ASRT) • AI が医⽤画像や放射線領域の専⾨家に及ぼす 影響をまとめたホワイトペーパーを公開 (2020/01) • AI 関連の技術を⽇常的に頻⽤している • AI のコンセプトに習熟している

経済的機会のある Technology 2018 2019 1 IoT IoT 2 ⾃動化 AI 3 AI 5G 4 VR/AR サーバーレスコンピューティング 5 5G ブロックチェーン 6 3D プリンタ ロボティクス 7 ドローン バイオメトリクス 8 バイオメトリクス 3D プリンタ 9 ブロックチェーン VR/AR 10 量⼦コンピューティング ドローン 短期的にビジネスチャンスがあるとされる新興テクノロジーのトップ10リスト グローバルな IT 業界団体 CompTIA の Emerging Technology Community 調べ

⼈⼯知能 ≒ 深層学習？ • AI ⊃ ML ⊃ NN ⊃ DL ⼈⼯知能 (Artificial Intelligence: AI) 機械学習 (Machine Learning: ML) ニューラルネットワーク (Neural Network: NN) 深層学習 (Deep Learning: DL) • ⼈⼯知能: 総合的な概念と技術 • 深層学習: ⼈⼯知能を実現する⼿法のひとつ

⼈⼯知能 (Artificial Intelligence: AI) • AI ⊃ ML ⊃ NN ⊃ DL ⼈⼯知能 (Artificial Intelligence: AI) 機械学習 (Machine Learning: ML) ニューラルネットワーク (Neural Network: NN) 深層学習 (Deep Learning: DL)

主な AI の定義 定義 ⼈物 ⼈⼯的に作られた⼈間のような知能， ないしはそれを作る技術 松尾 豊 (東京⼤学⼤学院) ⼈⼯的に作られた，知能を持つ実態． あるいはそれをつくろうとすることに よって知能⾃体を研究する分野である 中島 秀之 (公⽴はこだて未来⼤学⻑) ⼈間の頭脳活動を極限まで シミュレートするシステムである ⻑尾 真 (京都⼤学名誉教授) 引⽤:『深層学習教科書 ディープラーニング G 検定 公式テキスト』(出典：『⼈⼯知能学会誌』) ⼈間の知的なふるまいの⼀部を⼈⼯的に再現したもの

AI の種類 • 理想: ⼈間のように考えて⾏動することができる ⇒ 汎⽤的な AI = AGI: Artificial General Intelligence ⇒ 強い AI (Strong AI) ドラえもん (1969-1996) 則巻アラレ (1981-1986) • 現実: ⼈より巧みに⾏える物事が 予め定義された⼀つに限定 ⇒ 弱い AI (Narrow AI) タチコマ@攻殻機動隊 (1995-2008) Siri@Apple (2011-) (⾃然⾔語処理)

AI と⼈間の違い • 弱い AI ⇒ データを与えられた近傍のみ予測可能 • ⼈間 ⇒ データを与えられてない領域でもある程度予測可能 弱いAI 内挿: ⼈間のプロ以上 外挿: 乳幼児未満

AI の成果・事例 • 画像認識に関する主な事例 • • • • • 物体認識: ⽝や猫の識別や，物体の意味の⾔語化 不良品の検出: 製造業で作る部品などの検品 異物混⼊の検出: ⾷品の製造ラインでの異物検出 病変の検出: 医療⽤画像 (Xp や MMG など) から病変の発⾒ ⾃動運転: 産業界で競争が激化 • ⾳声認識に関する主な事例 • スマートスピーカー: Google Home や Amazon Echo などの ⾳声で問い掛けると，何らかの回答を話す製品 • ⾃然⾔語処理に関する主な事例 • チャット bot: Web サイト上で質問に対する適切な回答を ⾃動的に返し会話を成⽴させるもの (ex: ⼥⼦⾼⽣ AI りんな) • ロボティクス (強化学習)に関する主な事例 • ゲームの⾃動対戦: プロ囲碁棋⼠を破った AlphaGo など

AI の⾏政への導⼊ • 撮影した写真だけで粗⼤ゴミの種類や料⾦が わかる画像認識 AI を横浜市が導⼊ (2019 年 9 ⽉ 2 ⽇) • AI を活⽤した粗⼤ごみ画像認識サービス “SODAI Vision API (ソダイ)” をオークネットが開発 • 2016 年にリリースされた膨⼤な中古⾞データを使った ⾞両画像識別システムの技術を応⽤

AI がしていること • ⼊⼒に対して適切な結果を出⼒する関数 ⇒ 膨⼤な量の計算を ⇒ 膨⼤なエネルギーを使って ⇒ 膨⼤な半導体を動作させて ⇒ 解答または選択肢を絞り込む インテリジェントではない強引なやり⽅ 数を撃てば当たるの総当たり戦略

AI の弱点 • ⾊が似ているため砂漠を裸の⼈と認識 ⇒ AI から⾒た砂漠の画像は Pornography • 区別するには裸でいる状況を 理解する必要があり⾮常に難しい課題 Wallpapers@macOS Mojave

AI 俳句協会 (https://aihaiku.org/) • AI が最も不得意である「感性」や「独創性」が 必須な『俳句づくり』に挑戦し，AI ⽂書作成の 先進的技術開発に貢献することを⽬的

AI の歴史 チューリングテスト アラン・チューリングが提案した， ある機械が「⼈間的」かどうかを判定するためのテスト (1969-1996) (1981-1986) (1995-2008) 引⽤: 総務省 HP 第 1 部 特集 IoT・ビッグデータ・AI 〜ネットワークとデータが創造する新たな価値〜 http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h28/html/nc142120.html ⼤型コンピュータの登場 (第⼀次)，パーソナルコンピュータの普及 (第⼆次) スマートフォンの普及によりデータ流通量の爆発的増加 (第三次) ⇒ 取扱データの増加が⼈⼯知能ブームの切っ掛け

• http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h28/html/nc142120.html

イギリスの新しい 50 ポンド紙幣 • 2021 年末までに流通が開始されるイギリスの 新しい 50 ポンド紙幣の肖像に コンピューター科学の先駆者で暗号解読者の アラン・チューリング (1912 〜1954 年) が採⽤

SF アクション映画 • アップグレード (2018年アメリカ) • 妻と平和な⽇々を送っていた主⼈公は， 謎の組織によって妻を殺され， ⾃⾝も全⾝⿇痺となってしまう． • 巨⼤企業の科学者によって実験的に埋め込まれた AI チップ「STEM」の⼒によって⿇痺を克服し， ⼈間を超越した⾝体能⼒を⼿に⼊れ謎の組織と戦う．

脊髄損傷の神経をつなぐ研究 • Intelligent Spine Interface プロジェクト • Intel とブラウン⼤学 (⽶) が，アメリカ国防⾼等研究計画局の 助成を受け，脊髄損傷による⿇痺を AI を使って回復させる研究 • 神経が途切れている部分に電極を埋め込み Intelligent Bypass を作成 • Bypass を中継する Neural Network が神経の信号を読み取り， 末端⽅向へ運動信号を伝達すると共に，その信号伝達機能を学習 ⇒ 脊髄の機能的な理解をソフトおよびハードウェアと 組み合わせて構築されるツールセットの実現を⽬指

機械学習 (Machine Learning: ML) • AI ⊃ ML ⊃ NN ⊃ DL ⼈⼯知能 (Artificial Intelligence: AI) 機械学習 (Machine Learning: ML) ニューラルネットワーク (Neural Network: NN) 深層学習 (Deep Learning: DL)

⾝近な機械学習 検索エンジン 推奨システム ⾳声認識 遺伝⼦データ解析 Siri や Google Assistant

機械学習とは… • 既知のデータからパターンを学習することで， 未知のデータに遭遇した際も学習した パターンを元に分類するアルゴリズム ⇒ 物事を本質的に予測する • データのどの部分が結果に影響を 及ぼしているのか (特徴量) を⼈間が 判断・調整することで予測や認識の精度が向上

機械学習とは… 回帰 売上予測，⼈⼝予測， 需要予測，不正検知 教師あり学習 分類 故障診断，画像分類， 顧客維持 レコメンド，顧客セグ 機械学習 教師なし学習 クラスタリング メンテーション，ター ゲットマーケティング バンディット ゲーム，広告，⾃動運 アルゴリズム 転，リアルタイム診断 強化学習 Q 学習

教師あり学習 ⇒ 要教師データ • ラベリング済みのデータが与えられる学習⽅法 • “果物” について “⾊・重さ・種類” という要素を 学習することで，新しく⼊⼒された情報を予測 • 初期はこの分野の開発が最も発達 • 医⽤画像領域 (画像解析) では主流 訓練データ バナナ ブドウ リンゴ 機械学習アルゴリズム 未知の画像 画像はブドウ

教師なし学習 ⇒ ⾃習 • ラベリング済みのデータが与えられない学習⽅法 • 正解となるラベルを与えず⼊⼒データから 規則性を発⾒していくのが特徴 • ラベリングされていないデータセットをもとに 機械が⾃ら学習を⾏うという仕組 購買データ 機械学習アルゴリズム • レコメンデーション • グルーピング • 売上予測

分布の分類

教師あり学習 vs 教師なし学習 教師あり学習 教師なし学習

強化学習 ⇒ RIZAP • 実⾏と失敗を繰り返す中で， 徐々に正しい⽅向を⾒いだすという学習⽅法 • コンピュータに単純なゲームをルールを教えずに実⾏ • 偶然に良い結果を出した時には報酬を与える • 悪い結果の時には報酬なし or 罰を与える • 報酬を最⼤限にすることを⽬標とするよう 設定しゲームを複数回実⾏ • 最終的には最も効率よく 正答にたどり着く⽅法にたどり着く • AlphaGo (DeepMind) がトップ棋⼠に勝利 (2016 年 3 ⽉)

Metastasis ではない！ 転移学習 (Transfer Learning) • ある領域で学習させたモデルを 別の領域に適応させる技術 • 広くデータが⼿に⼊る領域で学習させたモデルを 少ないデータしかない領域に適応させたり， シミュレータ環境で学習させたモデルを 現実に適応させたりする技術 • 学習データが増えた際にも追加で学習を⾏える • 近年⽬覚ましい発達を遂げている • 医⽤画像領域への適⽤も盛んに⾏われている

Metastasis ではない！ メタ学習 (Meta Learning) • 学習⽅法を学習すること (Learning to Learn) • ⼈が学習 • ⼈間が繰り返し教科書を読む • テストを受け知識を習得する • 学習プロセスは他の⼈の勉強法より学ぶ • 同じ教科書を繰り返し読むより 優れた読み⽅ (学習法) がわかれば， 効率的に教科書の内容を吸収できると考えられる • 機械学習ではコンピュータがデータから反復的に 学習し，⼈が気づいていなかったデータの中の 隠れた情報やパターンを⾒つけ出す ⇒ メタ学習は機械の学習能⼒を⾼めるのを⽬的として， 学習プロセスを学んでいく

Neural Network (NN) • AI ⊃ ML ⊃ NN ⊃ DL ⼈⼯知能 (artificial intelligence: AI) 機械学習 (machine learning: ML) ニューラルネットワーク (Neural Network: NN) 深層学習 (deep learning: DL)

ニューラルネットワークとは… • 機械学習の⼿法の⼀つ • 脳神経細胞のネットワークを シミュレーションしたモデル 樹状突起 軸索末端 ランヴィエ絞輪 出⼒ 細胞体 ⼊⼒ シュワン細胞 ミエリン鞘 核 神経細胞: Neuron (Wikipedia)

ニューロンモデル • もっとも単純なニューラルネットのモデル • ニューロンをモデル化 ⇒ ニューロンモデル ⇒ 複数の⼊⼒と単数の出⼒を持つ ⼊⼒: X1 w1 ⼊⼒: X2 ⼊⼒: Xn w2 θ φ 出⼒: Y wn X: ⼊⼒値，w: 重み，θ: 閾値，φ: 活性化関数

ニューラルネットワーク Input Layer Inputs Hidden Layer Output Layer Outputs • ニューロンモデルを複数組み合わせたモデル • ⼊⼒層，隠れ層，出⼒層から構成 • 3 層 (以上) のニューラルネットワークは 可微分で連続な任意関数を近似可能

分類問題の基本 1 次関数 1 つのニューラルネットワーク n 次関数 n 個のニューラルネットワーク

深層学習 (Deep Learning: DL) • AI ⊃ ML ⊃ NN ⊃ DL ⼈⼯知能 (Artificial Intelligence: AI) 機械学習 (Machine Learning: ML) ニューラルネットワーク (Neural Network: NN) 深層学習 (Deep Learning: DL)

深層学習 (Deep Learning: DL) • 多層 (4 層以上) の ニューラルネットワークによる機械学習⼿法 • ニューラルネットの多層化 ⇒ ニューラルネットが識別可能な特徴の表現が向上 ニューラルネットの 多層化による恩恵 顔 ⽿ ⽿ ⽿ ⼝ ⿐ ⽬顔 ⽬ ⽿

深層学習 (Deep Learning: DL) Input Layer Inputs Hidden Layer Output Layer Outputs • 深層学習は隠れ層を多層にすることで情報伝達と処理を増加 • ニューラルネットワークよりも深いネットワーク構造を有する ⇒ 特徴量の精度や汎⽤性，予測精度を向上させることが可能 ⇒ パターンやルールの発⾒，特徴量の設定，学習も⾃動的に⾏う

深層学習のインパクト • 2010 年から始まった物体の認識率を競う 競技会* で 2012 年にジェフリー・ヒントン率いる トロント⼤学の画像識別精度が深層学習を⽤いた ことにより 75 % → 96 %と⾶躍的に向上し圧勝 2012年以降の画像認識におけるエラー率の推移 * The ImageNet Large Scale Visual Recognition Challenge (ILSVRC)

多層化 (4 層以上) による問題 • ニューラルネットワークの多層化による問題点 • 勾配消失: 逆伝播中に誤差が急速に⼩さくなる現象 ⇒ 活性化関数にランプ関数† 等を使⽤ ⇒ ⾃⼰符号化器による事前学習で初期値設定 • 過学習 (過適合): 学習データに適合し過ぎる現象 ⇒ ⼤量のデータの処理を可能とする GPGPU‡ の普及 ⇒ 学習データを増加させる † Rectified Linear Unit: ReLU ‡ NVIDIA が GeForce 256 を発表 (1999) して以来 GPUという⽤語が使われるようになった ‡ General-Purpose computing on Graphics Processing Units (GPU) による汎⽤計算

深層学習システムの傾向 • 層を増やして巨⼤化 AlexNet (2012) VGG19 Net (2014) AlexNet VGG19 Net 層の数 8 19 パラメータ 60,000,000 100,000,000 • 層の数が多い ⇒ パラメータが増加 • 増加したパラメータ ⇒ 膨⼤なデータから学習

Scikit-Learn Algorithms Cheat-Sheet Scikit-Learn: Python のオープンソース機械学習ライブラリ

データセット • ⾃施設でデータセットを作成するには， データの取出しなど課題は多い ⇒ 公開されているデータセットの利⽤であれば， アルゴリズムの開発のみ • 画像と病理が紐付いて存在している 肺がん，乳がんのデータセットが多い ⇒ 公開されているデータセットには所⾒間違が存在 ⇒ 公開データを⽤いる場合はチェックが必要

データセットの検索 • Dataset Search (2020 年 1 ⽉ 23 ⽇リリース) https://datasetsearch.research.google.com/

• https://datasetsearch.research.google.com/

肺がんのデータセット • 肺がんを研究対象としたデータセットが多数存在 • アメリカ国⽴衛⽣研究所 ⇒ ChestX-ray14 30,805 ⼈/112,120 枚の画像 • スタンフォード病院 ⇒ CheXpert 65,240 ⼈/224,316 枚の画像 • マサチューセッツ⼯科⼤学 ⇒ MIMIC-CXR 65,370 ⼈/227,835 枚の画像

標準ディジタル画像 データベース［胸部腫瘤陰影像］ • JSRT が公開している “標準ディジタル画像 データベース［胸部腫瘤陰影像］” http://imgcom.jsrt.or.jp/download/ http://imgcom.jsrt.or.jp/minijsrtdb/

• http://imgcom.jsrt.or.jp/download/
• http://imgcom.jsrt.or.jp/minijsrtdb/

眼底画像のデータセット • 三栄会ツカザキ病院 (姫路市) は 2019 年 7 ⽉ 25 ⽇ 眼底画像のデータセット約 13,000 枚を公開 • 研究や教育⽬的なら無料で利⽤可能

データセットの作成 • Detection (Classification) を⾏うには… • 教師データに疾患のある画像が必要 (正常例は不要) • 画像に対応した病理検査の結果があればベスト！ • Segmentation を⾏うには… • 教師データに正常例のデータが⼤量に必要 • データ数は多ければ多いほど良い (正しいデータ) • 個⼈情報 (病理データ) を含むため，データの取扱注意 ⇒ 病院での取扱⽅法に準拠し匿名化・管理を⾏う

医療⽤データセットの作成 • ⼯学系の⼈は， 公開されている患者情報 (カルテ情報) しか ⼊⼿できずデータセットの作成ができない • 患者情報にアクセスできるのが医療職の アドバンテージ (倫理委員会の許可が必須) • 深層学習を⽤いた研究は⼯学系では安定期 • 深層学習を⽤いた研究は医療領域では臨床適⽤期 • 医療画像による病変検出は医師の代替でしかなく， AI でないとできないことがない． • 臨床としては意味があるが， テクノロジーとしては⾯⽩さがない．

法律の解釈 • 平成 30 年 12 ⽉ 19 ⽇ 厚⽣労働省医政局医事課⻑通知⽂書 • 「⼈⼯知能 (AI) を⽤いた診断、 治療等の⽀援を⾏うプログラムの利⽤と 医師法第 17 条の規定との関係について」 • AI を⽤いた診断・治療⽀援を⾏うプログラムを利⽤して 診療を⾏う場合についても、診断、治療等を⾏う主体は 医師であり、医師はその最終的な判断の責任を負う こととなり、当該診療は医師法 第 17 条の医業として ⾏われるものであるので、⼗分ご留意をいただきたい。 「診断・治療の責任は医師」 ⇒ こう定義されたので医療 AI は動き出した

医⽤画像領域への AI の適⽤ 画像分類 (Classification) 画像認識 (Segmentation) 画像解析 物体検出 (Detection) 超解像 (Super-Resolution) ノイズ低減 (Denoise) 画像処理 ⾃然⾔語 処理 (Natural Language Processing) 敵対的⽣成 ネットワーク (Generative Adversarial Networks: GAN) 画像⽣成・その他

画像処理に関しては インナービジョンをご覧下さい．

医⽤画像領域への AI の適⽤ 画像分類 (Classification) 画像認識 (Segmentaeon) 画像解析 物体検出 (Detection) 超解像 (Super-Resolution) ノイズ低減 (Denoise) 画像処理 ⾃然⾔語 処理 (Natural Language Processing) 敵対的⽣成 ネットワーク (Generative Adversarial Networks: GAN) 画像⽣成・その他

乳がん • 乳がんの発症を⾼い精度で予測できる AI モデルを MIT が開発 • 2009 年 1 ⽉ 1 ⽇から 2012 年 12 ⽉ 31 ⽇までの 39,571 ⼈ 88,994 件のマンモグラフィを使⽤ • ⼈の⽬では認識できない微細なパターンも 特定できるように訓練 • ⼈種に関わらず⾼精度 Above: MIT/MGH AI model identified woman at high risk 4 years (left) before her breast cancer (right):.Image Credit: MIT CSAIL

肺がん • 肺がんの発症を⾼い精度で予測できる AI モデルを Google が開発 • 匿名化された 45,856 件の胸部 CT スクリーニング 検査でがんが発⾒された症例 • Google の AI モデルは医師チームよりも がんのケースを 5 ％多く検知でき， 誤診率は 11 ％低かった A promising step forward for predicting lung cancer https://www.blog.google/technology/health/lung-cancer-prediction/ End-to-end lung cancer screening with three-dimensional deep learning on low-dose chest computed tomography Nature Medicine (2019)

アルツハイマー • Alzheimer Disease の早期予測できる AI モデル • 2005 年から 2017 年までの 1,002 ⼈ 2,109 の画像検査を使⽤ (ADNI) • FDG-PET より，アルツハイマー病の最終診断の 平均 75.8 ヶ⽉前に感度 100%，特異度 82% で発⾒可能

AI (診断) に疑問！

AI の診断を信じられますか？ • 胸部 X 線検査では様々な疾患を指摘できる ⇒ その中でも肺がんの発⾒が重要 • 胸部 X 線検査の画像は情報量が多い ⇒ 胸部 X 線検査で肺がんを⾒逃す可能性は⾼い • 肺がんは診断後に⼿術が⾏われ，病理所⾒が 得られることから，臨床研究の対象とし易い ⇒ 胸部 X 線検査の⾃動診断に関する研究が多数ある ⇒ 今現在その精度は医師と同等以上

AI の診断を信じられますか？ • 肺がんを研究対象としたデータセットが多数存在 • ⼤規模データベース 3 種類を同じモデル・環境で 学習させ，それぞれを別のデータベースで評価し データセットの影響を評価 ChestX-ray14 30,805 ⼈/112,120 枚の画像 (アメリカ国⽴衛⽣研究所) 65,240 ⼈/224,316 枚の画像 CheXpert (スタンフォード病院) MIMIC-CXR 65,370 ⼈/227,835 枚の画像 (マサチューセッツ⼯科⼤学) ⇒ 学習データと⼀致するテストデータでは良好な結果 ⇒ 学習データと異なるテストデータでは不良な結果 ChestX-ray14 はラベルの信頼性に疑問 Eduardo H. P. Pooch∗, Pedro L. Ballester, Rodrigo C. Barros Can we trust deep learning models diagnosis? The impact of domain shift in chest radiograph classification arXiv:1909.01940v1 [eess.IV] 3 Sep 2019

AI の診断を信じられますか？ • AI の基本的な問題点 • AI のモデルを構築した学習データの違いによって 性能に違いが出るドメインシフト • 同じ問題を解くために集めたはずのデータの分布領域 (ドメイン) にズレが⽣じていることで精度が低下 ⇒ AI を実⽤化する時に失敗する最⼤の原因 • • • • 正しい学習データを増加させて学習を⾏う 課題の複雑さに対して適切なネットワークに変更 正則化を⾏う 敵対的⽣成ネットワークの応⽤ (転移学習)

AI は⼈間の医師よりも優秀？ • 2012 年以降の深層学習に関わる研究論⽂を調査 • AI による⾃動診断に関する研究論⽂は 2 万件以上存在 • 質の⾼いデータを AI に分析させたものと同じ画像を専⾨医に ⾒せて⽐較している研究に絞って調べると 14 件該当 • 14 件の研究の中から病気を正確に診断した精度を算出すると， 医者が 86 ％，AI は 87 ％という精度 ⇒ AI の医療への応⽤を研究した論⽂は内容が不⼗分 ⇒ AI が⼈間を超えたと⾔うが実際には同等程度 Xiaoxuan Liu MBChB, Livia Faes MD, Aditya U Kale MBChB, et al. A comparison of deep learning performance against health-care professionals in detecZng diseases from medical imaging: a systemaZc review and meta-analysis Lancet Digital Health 2019/09/25

開発環境

開発環境 • Ubuntu (Linux) • GPU 付きの PC で， 本格的に Deep Learning を学び実践したい⼈向け • Windows • • • • 使い慣れた環境を使いたい⼈にとって最良 Neural Network Console (Sony) が使える GPU が使え，TensorFlow や PyTorch なども使える Visual Studio で開発したい⼈には⼈気 • macOS (Mac) • CPU を使って Deep Learning を試したい⼈向け • 環境構築が必要！

All in One のコンピュータ • 開発環境が事前に組み込まれているコンピュータ • Deep Infinity (パソコン⼯房) • DeepEye • ⾼価だが，環境構築を⾏わなくて良い • DL ⽤ Framework を Download するだけで， 環境設定や整合性を気にすることなく環境構築ができ， 導⼊時間を⼤幅に短縮可能！ ⇒ 研究に集中できる！ • 環境構築が不要！

シングルボードコンピュータ • NVIDIA® Jetson シリーズ • Raspberry Pi シリーズ NVIDIA® Jetson TX2 Raspberry Pi 4 • ハイスペックではないので，複雑なことをするには向かないが， ⽐較的リーズナブルに深層学習を実現で環境が構築でき， コーディングを含めて学べる • テスト環境の⼀つとして導⼊予定 (NVIDIA® Jetson TX2)

AI と Python の親和性 • 2015 年以降，Python 関連書籍の売れ⾏きが好調 • AI ⼈気が Python ⼈気に直結しているのは， AI システムを開発するプログラミング⾔語として Python が最も使いやすい • システム開発においてはプログラムは ゼロから書くのではなく，プログラムの共通部品を 集めたライブラリや特定⽤途向けの開発基盤である フレームワークを活⽤して⼯数を抑えるのが⼀般的 ⇒ AI 分野のライブラリやフレームワークの充実度合いで， Python は他のプログラミング⾔語を圧倒

ライブラリ • 特定の処理を再利⽤するために切り出された プログラムの⼀部 ⇒ ライブラリをつかえば 特定の処理を実⾏可能 ⇒ ⾃分が書けない処理でも⽐較的簡単に実装可能 • オープンソースとして配布されているものも多い ⇒ ソースコードを改変して ⾃⾝のプロダクトに取り込むことが可能

Python のライブラリ 分野 名称 概要 リリース 機械学習 Scikit-Learn 多くのアルゴリズムに対応した Library 2007 深層学習 TensorFlow Google が開発した Library 2015 PyTorch Facebook が開発した Library 2016 Chainer Preferred Networks が開発した Library 2015 NumPy ⾏列操作を⾼速処理する Library 2006 SciPy 統計やフーリエ変換など科学技術計算で 2001 よく使われる関数を提供する Library 前処理 pandas 表形式のデータ整形，⽋損値の補完と 2011 いったデータ分析の処理前に便利な機能 を提供する Library 可視化 matplotlib 2 次元のグラフを描画する Library 2003 Web App Djangi フルスタックの Web App Framework 2005 Flask 軽量な Web App Framework 2010 計算

Web Application • Web ブラウザでリアルタイムに ⼈間の姿勢推定を可能にする機械学習モデル PoseNet の TensorFlow.js バーションをリリース • PoseNet • 映像中の⼈物から 1 つまたは複数のポーズを検出 • ToseorFlow.js • Web ブラウザで実⾏できるライブラリ • 「TensorFlow」の JavaScript 版 • 実⾏環境は何でも良い！

AI の勘違い (都市伝説) • AI は⼈間の脳のように機能する • 現在の AI は “弱い AI” ⇒ 決められた単⼀タスクのみ処理可能 • AI は⾃ら学習する • 学習には “問題の設定”と“適切なデータセットの提供” が必要 • AI は 100 ％ 客観的になれる • AI は全てエンジニアによるデータとルールに基づいている • データセットと結果を評価し，潜在的な偏⾒が⽣じず 次の学習サイクルに新しい知識と統合できるようする必要がある • AI は定型業務を代替し得る • AI の予測・分類・クラスタ化により的確な判断が可能 • 医療: 放射線科医よりも迅速に病気を発⾒ • ⾦融・保険業界: ロボアドバイザが資産管理や詐欺検出に利⽤ • FAX すらなくならない⽇本では， 定型業務の全てが AI に置き換わることはない

近年の AI ブーム • AI は課題を決定し， データセットの作成とネットワークの決定により実現 • どのような課題でも AI で解決できると 思っている (勘違いをしている) ⼈は多い • AI で end-to-end に解ける問題は多くない • AI を使わずに解ける課題なら AI は使わない⽅がいい • テクノロジーに夢を⾒ていない⽼害 • ⽅法が⽬的になっている傾向がある • “⾷事するために天⼀に⾏く” のではなく “インスタ映えのために天⼀に⾏く” • 前提が違うと話しが噛み合わない

世界 10 カ国の AI の利⽤状況 • ⽇本の職場における AI の利⽤率は 29 % ⇒ 10 カ国・地域で最下位 • 管理職とロボットのどちらを信頼するのか？ ⇒ロボットと回答した率は⽇本は76% ⇒ 世界平均の64%を上回った

AI の課題 0 フェーズごとの課題 5 10 15 20 25 30 35 40 45 ⼗分な量・質を備えたデータの取得 AI の精度が不⼗分 AI 活⽤リスクが⼤きい メンテナンスコストが⾼い AI 導⼊の⽬的が不明確 ベンダーとのコミュニケーションが困難 ベンダーの⾃社が属する業界への知識不⾜ 従来の⼿法で ROI や評価基準が設定できず… 契約条件が不適当 AI ⼈材・知識不⾜ 経営層の納得が得にくい 現場の納得が得にくい 適切なベンダー選定が困難 課題が不明瞭 その他 企画・⽴案段階 (n=381) 引⽤：「平成30年度成果報告書 企画・⽴案終了~概念実証完了まで (n=381) 概念実証終了~実⽤化済み (n=381) 産業分野における⼈⼯知能及びその内の機械学習の活⽤状況及び⼈⼯知能技術の安全性に関する調査」国⽴研究開発法⼈新エネルギー・産業技術総合開発機構 データの取得と課題の選出が問題

時流 - AI Winter is well on its way • ⽶の AI 研究者の Filip Piekniewski ⽒が，⾃⾝の Blog で「AI 冬の時代がやってくる」と主張 https://blog.piekniewski.info/2018/05/28/ai-winter-is-well-on-its-way/

• https://blog.piekniewski.info/2018/05/28/ai-winter-is-well-on-its-way/

時流 - AI Winter is well on its way ① 研究者たちの 発⾔が少なくなった ② Deep Learning はスケールしていない ③ ⾃動⾛⾏技術は，まだまだ不完全 • 2012 年に AlexNet という Deep Learning のモデルが 世界中の AI 研究者に衝撃を与えた ⇒ AlexNet のパラメータ数は 6000 万程度 ⇒ 最近のモデルのパラメータ数は AlexNet の 1000 倍以上 ⇒ 性能が 1000 倍以下 • ⼀部の研究者が主張するほど，Deep Learning が 指数関数的な進化を遂げていない

時流 - Thomas Nield の主張 (Medium に投稿した記事の要約) • AI の歴史 • 推論や検索に基づいた第 1 次 AI ブーム • エキスパートシステムの開発が流⾏した第 2 次 AI ブーム ⇒ AI の誇張により過度の期待がブームを創出 ⇒ 失望によりブームが終息 • 第 3 次 AI ブームにも煽動と誇張を⾒る同⽒は， この流⾏は2019年から2020年にかけて終息すると主張 • Deep Learning の流⾏がもたらした第 3 次 AI ブーム • Deep Learning の進化を加速するはずの学習データ不⾜ • Deep Learning でも解決困難な問題は存在する ⇒ AI を正しく活⽤するために問題に最適な⼿法を適⽤ Thomas Nield アメリカ⼤⼿航空会社サウスウエスト航空のビジネスコンサルタント SQL や RxJava に関する⼊⾨書をオライリーから出版

時流 - 敵対的⽣成ネットワーク • 2018 年頃は，AI バブルの様相を呈していた • 機械学習と呼んでいたものが，AI と名称変更する だけで新規性に富んだテーマとして扱われる ⇒ AI を実現できるソフトウェアが開発 ⇒ モデルの構築が実現可能なプラットフォームが完成 ⇒ AI は安定期 (⼀般化) に突⼊ • 敵対的⽣成ネットワーク (Generative adversarial networks: GANs) を⽤いた 研究が盛んになり，新たな時流が⽣じた

GAN のアーキテクチャ 2 つの ニューラルネットワークで構成 ⼆つの AI が違う役割を持って， 切磋琢磨することによって， 似ているデータを作成 • Generator: データを⽣成 • Generator は⽣成データの特徴の種に相当するランダムノイズ を 所望のデータに近づけるようにマッピング • Discriminator: ⽣成されたデータの真偽を判定 • Generator が⽣成した偽物のデータと本物のデータの真偽を判定

⽣成系の GAN ができること • 教師データからの画像⽣成 • ⾼解像度の画像⽣成 • 画像の翻訳 • ⽂章からの⽂字起こし • 動画の翻訳 • 画像のスタイル変換 できないことは少ない

実際には存在しない寝室を⽣成 Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks Alec Radford, Luke Metz, Soumith Chintala (Submitted on 19 Nov 2015 (v1), last revised 7 Jan 2016 (this version, v2))

実際には存在しない顔写真 このアルゴリズムには，顔を⼊れ替えた偽の動画 (Deep Fake) と同等のコードを含む PHOTOGRAPHS BY CARL BERGSTROM AND JEVIN WEST/UNIVERSITY OF WASHINGTON; PHILIP WANG/THISPERSONDOESNOTEXIST.COM

著作権フリーの⽣成した顔画像 • GAN による画像⽣成 • ⼈物，動物，アニメキャラおよび賃貸物件まで， あらゆる画像が対象となり試⾏ • ⽣成物の著作権については 明⾔されていない場合が多い • StyleGAN により作成された 著作権フリーの顔画像が 10 万枚公開 (オリジナル)

学習データを作成 (GAN) • AI 技術を産業に応⽤する際の課題 • AI が学習するための教師データの不⾜ ⇒ 放射線画像から AI が病気を Detection しようにも 病気の画像が少なければ充分な学習ができず システムの精度が上がりにくい • 教師データの回転や移動によるデータ量の ⽔増しではなく GAN で学習データを⽣成 • 偏りやドメインシフトの影響が⼤きくなる • GAN をドメイン適応⽤に開発することで⼤規模データ間の 違いを修正し，更に⼤きなデータベースを開発できる可能性？ ⇒ 実際には⼤量のデータが必要 ⇒ データ量は正義

機械学習エンジニアの不⾜ • 経済産業省は 機械学習に関わる⼈材が 2020 年には 4.8 万⼈不⾜すると予測 • 2019 年 3 ⽉に政府の AI 戦略が年間 25 万⼈を⽬標に ⼈材を育成 ⇒ 教育再⽣会議が全ての⼤学⽣が AI などの基礎的な素養を ⾝につけられるように標準カリキュラムを作成することを提⾔ • ⾼校教育 • AI などを理解するうえで必要な「確率」「統計」「⾏列」などを学ぶ ⇒ 技術の発展に応じて教育内容を迅速に変えるため， 学習指導要領の⼀部改訂や教科書の⼀部訂正といった制度を活⽤ • ⼤学教育 • AI や数理，データサイエンスの分野で求められる知識や技能を⾝につ けられる教育プログラムの創設 ⇒ 履修状況を採⽤活動やインターンシップなどに活⽤することを想定

Automated Machine Learning • Automated Machine Learning (AutoML) ⇒ ⾃動化された機械学習 • 機械学習モデルの設計・構築を ⾃動化するための⼿法全般，またはその概念を指す Amazon SageMaker Autopilot Google Cloud AutoML* Microsoft Azure Machine Learning MatrixFlow MatrixFlow • ⽤意したデータを基に AI を作成するプラットフォーム ⇒ 専⾨家でなくても⾼品質なモデル⽣成が可能 * Vision: 画像識別，Natural Language: テキスト分析，Translation: 機械翻訳

AI のコーディングについて • Scratch をしなくとも AI モデルの構築が可能 ⇒ “Neural Network Console” を⽤い， GUI でモデルの構築 ⇒ “AutoML” で⾃動的にモデルの構築 • Coding についての学習を省略 ⇒ Deep Learning の基礎となる数学や統計を学べる

AI と医療 • 近年，AI はコモディティ化された • 誰でも AI モデルを 1 から作れる時代 ⇒ 医療に既存の AI サービスを落とし込めるかが重要 • 医⽤画像領域の AI ⇒ 教師データの作成に医⽤情報が必要 ⇒ 医療従事者の介在が必須 ⇒ 研究 << 臨床: ⽬新しさよりも安定を求める傾向 ⇒ 医⽤画像領域の AI を医療⼈が⾏うことに需要あり ⇒ データの集まらない領域の AI にこそ価値がある！

最後に • 機械学習の概念 • 歴代の⼈⼯知能ブーム • データセットの作成 • 医⽤画像領域への深層学習の適⽤ • 医療 AI の旬の話題