[DL輪読会]Combining Fully Convolutional and Recurrent Neural Networks for 3D Biomedical Image Segmentation (NIPS 2016 Poster)／U-Net: Convolutional Networks for Biomedical Image Segmentation (MICCAI 2015)

DL Hacks輪読 2017/02/03 黒滝 紘生

趣旨 - 医用画像に適用される Deep Learning - タスク - X線の2D肺画像 - CTスキャンによる 3D肺画像 - その他 2

ICML 2015 http://www.nipsml4hc.ws/posters , https://sites.google.com/site/icml2015mi/ NIPS 2016 3

• http://www.nipsml4hc.ws/posters

http://www.ibm.com/watson/health/index.html http://www.techrepublic.com/article/ibm-watsons-latest-gig-improving-cancer-treatment-wit h-genomic-sequencing/ 4

• http://www.ibm.com/watson/health/index.html
• http://www.techrepublic.com/article/ibm-watsons-latest-gig-improving-cancer-treatment-wit

http://techon.nikkeibp.co.jp/atcl/event/15/063000072/071400009/?ST=health 5

• http://techon.nikkeibp.co.jp/atcl/event/15/063000072/071400009/?ST=health

https://www.elsevier.com/books/deep-learning-for-medical-image-analysis/zhou/978-0-12-810408-8 6

• https://www.elsevier.com/books/deep-learning-for-medical-image-analysis/zhou/978-0-12-810408-8

Kaggle https://www.kaggle.com/c/data-science-bowl-2017 7

• https://www.kaggle.com/c/data-science-bowl-2017

目次 - CTスキャンによる 3D肺画像 - X線の2D肺画像 - その他 8

U-Net: Convolutional Networks for Biomedical Image Segmentation - https://arxiv.org/abs/1505.04597 , MICCAI 2015 医用画像によく出てくる，細胞レベルの画像に適したCNNの構造を提案 現在のKaggleの3D 肺スキャン問題のTutorialに使われている (web) 9

• https://arxiv.org/abs/1505.04597

Combining Fully Convolutional and Recurrent Neural Networks for 3D Biomedical Image Segmentation - https://arxiv.org/abs/1609.01006 , NIPS2016 Poster , Cited by 3 (Google Scholar, Jan 23, 2017) 3次元医療データでよく見られる異方性の性質を，LSTMによりうまく扱えている 異方性 = z軸方向だけ，xy平面と長さのスケールが違い，単純なCNNでは扱いにくい xy平面用のU-Netを複数つないだ出力を，z軸処理用のLSTMに投げている 10

Combining Fully Convolutional and Recurrent Neural Networks for 3D Biomedical Image Segmentation - https://arxiv.org/abs/1609.01006 , NIPS2016 Poster , Cited by 3 (Google Scholar, Jan 23, 2017) 3次元医療データでよく見られる異方性の性質をうまく扱えている xy平面用のU-Netを複数つないだ出力を，z軸処理用のLSTMに投げている 11

目次 - CTスキャンによる 3D肺画像 - X線の2D肺画像 - その他 12

Learning what to look in chest X-rays with a recurrent visual attention model - NIPS 2016 Workshop on Machine Learning for Health http://arxiv.org/abs/1701.06452 - AttentionとConvolutional Autoencoderで，胸部X線から 心臓肥大と(埋め込みの)医療機器を検出． "Recurrent Models of Visual Attension (NIPS 2014)"を使っている 13

• http://arxiv.org/abs/1701.06452

Learning what to look in chest X-rays with a recurrent visual attention model - Inception-v3に1%負けているが，パラメータ数は1/4で済む． 14

Learning what to look in chest X-rays with a recurrent visual attention model - 左: 上がvalidationセットでの精度，下がattentionの頻度 右: attentionの進行 15

Fully Convolutional Architectures for Multi-Class Segmentation in Chest Radiographs - https://arxiv.org/abs/1701.08816 , Jan. 30 2017 肺，鎖骨，心臓の検出をセグメンテーション問題として解いた JSRTという，247枚の画像のデータセットで学習 16

• https://arxiv.org/abs/1701.08816

Fully Convolutional Architectures for Multi-Class Segmentation in Chest Radiographs - U-Net という医療系のCNN亜種(後述)を，3つの方法で拡張 a) All-Dropout : 全てのConvレイヤーの直後にDropout b) InvertedNet : (a)のフィルタサイズを逆転 c) All-Convolutional : poolingをConvで置き換えた - 最終的に，(b)が良い性能を出した(下図の青) 17

Deconvolutional Feature Stacking for Weakly-Supervised Semantic Segmentation - https://arxiv.org/pdf/1602.04984v3.pdf 画像単位の教師ラベルしかないときに，ピクセル毎のセグメンテーションを出力する(weakly-supervised) Deconvolutionした画像を全部合わせて，また識別器に入力する (論文の結果) 18

• https://arxiv.org/pdf/1602.04984v3.pdf

Self-Transfer Learning for Fully Weakly Supervised Object Localization - https://arxiv.org/pdf/1602.01625v1.pdf 前ページの論文の進化版で，画像が少なくpretrainingが難しいときでも使える 全体用のclassificationレイヤーと，ピクセルのlocalizationレイヤーを同時に学習する(だんだんlocalを増やす) (論文の結果) 19

• https://arxiv.org/pdf/1602.01625v1.pdf

目次 - CTスキャンによる 3D肺画像 - X線の2D肺画像 - その他 20

Medical image denoising using convolutional denoising autoencoders - https://arxiv.org/pdf/1608.04667v2.pdf 医用画像のノイズを取り除くのには，Convolutional DAEが有用 (論文の結果) 21

• https://arxiv.org/pdf/1608.04667v2.pdf