[DL輪読会]Diagnose like a Radiologist: Attention Guided Convolutional Neural Network for Thorax Disease Classification

DEEP LEARNING JP [DL Papers] “Diagnose like a Radiologist: Attention Guided Convolutional Neural Network for Thorax Disease Classification” Hiromi Nakagawa, Matsuo Lab http://deeplearning.jp/

• http://deeplearning.jp/

1. Introduction • NIHが2017/09に胸部X線画像のデータセットを公開 – NIH Chest X-ray Dataset of 14 common Thorax Disease Categories • この画像診断に関するここ数ヶ月の論文を7本紹介します 2

2. Dataset • NIH Chest X-ray Dataset of 14 common Thorax Disease Categories – 公式版 ver.：https://nihcc.app.box.com/v/ChestXray-NIHCC – Kaggle ver.：https://www.kaggle.com/nih-chest-xrays/data • 30,805人の患者の112,120枚の全面胸部X線画像(1024x1024のpng) • 各画像には14種類の疾患のラベルが紐付いている（複数可） – ラベルは診断文をNLPによって生成したものなので、精度は90+%程度 • 1000枚弱の画像のみ患部の位置情報を有する – つまりごく少数しか場所はアノテーションされていない • いくつかの問題点も指摘されている – https://lukeoakdenrayner.wordpress.com/2017/12/18/the-chestxray14-dataset-problems/ 3

• https://nihcc.app.box.com/v/ChestXray-NIHCC
• https://www.kaggle.com/nih-chest-xrays/data
• https://lukeoakdenrayner.wordpress.com/2017/12/18/the-chestxray14-dataset-problems/

3.1 [17.05] ChestX-ray8: Hospital-scale Chest X-ray Database and Benchmarks on Weakly-Supervised Classification and Localization of Common Thorax Diseases • ChestX-Ray14の前身(?)を提案し、ベン チマークモデルの精度を公開した • AlexNet, GoogLeNet, VGGNet, ResNetな どのアーキテクチャを比較 • Class Activation Mapによる疾患ごとの ヒートマップ可視化 4

3.2 [17.10] Learning to Diagnose from Scratch by Exploiting Dependencies Among Labels • DenseNetベースのencoderによって画 像から抽出した特徴量を元にLSTMで decode、ステップTで疾患Tの有無を予 測する手法の提案 • ラベル間の依存関係を考慮できる • （LSTMを使わなくても）ちゃんと チューニングすればImageNetでの事前 学習は不要 • 医学的な文脈や解釈性に沿った新たな 評価指標を提案した 5

3.2 [17.10] Learning to Diagnose from Scratch by Exploiting Dependencies Among Labels • modela: 普通のDenseNetベース • LSTMを使わなくてもちゃんと チューニングすればImageNetでの 事前学習なくてもSOTA • modelb1,b2：LSTMを使う • AUCでの比較はなし • 医学的な文脈や解釈性に沿った新 たな評価指標を提案し、LSTMを用 いることで精度が向上することを 示した 6

3.3 [17.11] Thoracic Disease Identification and Localization with Limited Supervision • 数少ない病変位置のアノテーション情 報を有効活用 • Bounding boxのアノテーションがある データについては教師あり学習、ない データについてはmultiple instance learning(MIL)を行う • 病変領域に関するアノテーションが少 ない場合でも病変の領域と種類を推定 できる手法を提案した 7

3.3 [17.11] Thoracic Disease Identification and Localization with Limited Supervision • 画像全体をM、bboxをNとする • 画像iが疾患kを有する確率は • 正例のbboxがある場合 N内に疾患kがある N外には疾患kはない • それ以外 M内に疾患kのパッチが一つもない • これらを重み付けして学習 8

3.4 [17.11] CheXNet: Radiologist-Level Pneumonia Detection on Chest X-Rays with Deep Learning • ImageNetで事前学習したDenseNet121 をfine-tuningする • 現役の放射線科医を上回る精度で pneumonia(肺炎)を検出 • 非公式のpytorch実装がgithubにある https://github.com/thtang/CheXNet-with-localization 9

• https://github.com/thtang/CheXNet-with-localization

3.5 [18.01] Diagnose like a Radiologist: Attention Guided Convolutional Neural Network for Thorax Disease Classification • 既存手法が画像全体に対して直接CNN を適用しているだけで、タスク特有の noiseなどを考慮しにくい点に着目 • 提案手法(AG-CNN)は • 普通に全体でCNN (global branch) • global branchのheatmapを元に重要そ うな部位のみでCNN (local branch) • globalとlocalの最終プーリング層を マージしてfine-tuneする(fusion branch) • ベースはResNet50 < DenseNet121 10

3.1~3.5のまとめ 11

3.6 [18.03] Learning to recognize Abnormalities in Chest X-Rays with Location-Aware Dense Networks • ChestX-Ray14とPLCOのデータセットを併用 し、DenseNetベースの同一のネットワーク で疾患のクラスと、位置情報クラスがある 場合にはそれも識別する分類器を学習 • 従来の研究報告が公式のデータセット分割 に基づいていない問題を指摘 12

3.6 [18.03] Learning to recognize Abnormalities in Chest X-Rays with Location-Aware Dense Networks • 従来のランダムな分割は比較しにくい上に、 train/test間で同一患者のデータが重複する など、設定として不適切 • 一方、公式分割も患者の重複はないものの train/test間で分布の違いが大きい • より効率的な分割方法も提案し、患者の重 複を防ぎながら公式の分割より精度が高く なる現象を報告 13

3.7 [18.03] Comparison of Deep Learning Approaches for Multi-Label Chest X-Ray Classification • 既存手法同士の比較が困難な点を指摘し、 各手法の寄与を検証 • 重みの初期化 • 事前学習や転移学習 • ネットワークのアーキテクチャ • 画像以外の特徴量（年齢、性別、撮影 位置） • ImageNet pretraining+fine-tuningより、入力 画像を大きくし、画像以外の特徴量を用い てゼロからで学習したモデルが最良の精度 を発揮したことを報告。 • 公式のデータ分割に基づいてはいない 14

感想 • データの分割法や前処理が違ったりして、各手法の貢献やベストプラクティス、実質的なSOTA の精度などが不明な状態 • LSTMで依存関係を考慮・パッチに分割してMIL・global/localモデルに分けるなどは面白かったが、 全体的には単純な手法が多い印象 – 医療画像の性質+そもそものCNN系のテクニックをしっかり整理して検証すれば改善できそう • データが少ないからImageNetで事前学習→？ • 微細領域への注目→？ • ラベルのノイズ・クラス数の偏り→？ • Augmentation→？ – （既存手法との差分をしっかり検証していないorそもそもSOTAじゃない論文も多かった） 15