画像による脳腫瘍の検出

画像による脳腫瘍の検出 2024年9月25日（水） （ミワダ マサト） 三和田 将人

成果物について • 脳腫瘍を検出し、良性/悪性を判別し、可視化できる高精度モデル • 実機、無課金のクラウドという限られた資源で安価に開発 Predicted Image Real Image Segmented Image 作成に要した時間（延べ）：２箇月弱 • 事前調査：15日 • 試作品（精度が出るまで）：６日（18時間） • モデルの改良（交差検証）：３日（８時間） • 文書作成：21日

成果物について（再掲） • 脳腫瘍を検出し、良性/悪性を判別し、可視化できる高精度モデル • 実機、無課金のクラウドという限られた資源で安価に開発 Predicted Image Real Image Segmented Image 作成に要した時間（延べ）：２箇月弱 • 事前調査：15日 • 試作品（精度が出るまで）：６日（18時間） • モデルの改良（交差検証）：３日（８時間） • 文書作成：21日

発表の流れについて 1. 背景（物体検出技術の有用性） 2. 開発環境 3. 学習データについて 4. 使用アルゴリズムについて 5. 結果 6. 次への施策（改良点） 7. 開発スケジュール 8. 苦労、実践したこと

1. 背景（物体検出技術の有用性） • 動画像中の目的物を検出し、種類、位置及び個数を特定できる。 • 製造業、医療、建設業など幅広い分野で活躍する技術 （例） 1. 製造業、建設業での活用 → 外観検査、資材の搬入確認、現場作業者の安全確認（下写真） 2. 医療での活用 → 画像診断の補助 3. 車両（自動車、建設重機）や医療用機械 → 自動運転、運転支援、外科手術支援 ITmedia Inc, BUILD, 「画像認識AI」で現場の安全衛生を支える！頻発する“工事事故”を防ぐ建設ICT, https://built.itmedia.co.jp/bt/articles/2310/13/news020.html, 2023年10月（閲覧日2024年9月19日)

• https://built.itmedia.co.jp/bt/articles/2310/13/news020.html

2. 開発環境 ハードウェア ソフトウェア ⚫Google Colab（無課金、T4GPU x ２） Python 3.8（MacBook上） • matplot lib 3.7.5 • numpy 1.24.4 • Pandas 2.0.3 • Scikit-learn 1.3.2 • PyTorch 2.4.1 • Torchvision 0.1.6 • Ultralytics 8.2.92 • Wandb 0.18.0 • SAM（Segment Anything Model） ⚫MacBook Air M1(2020） 演算装置：Apple M1 チップ • Frequency ： 3.2GHz • CPU Cores ： 8 • GPU Cores ： 7 • Memory ： 8GB @git+https://github.com/facebookresearch/segment-any thing.git@526fd066dea338ba2ca08886853bd37ffd6a8aec

3. 学習データについて Radiological Society of North America, Brain Tumor AI Challenge (2021) • ソース https://www.rsna.org/rsnai/ai-image-challenge/brain-tumor-ai-challenge-2021 • データセットの説明 北米放射線学会から提供されている脳のMRI画像（３面からそれぞれ 撮影された画像があるが、ここではAxial：横断面を例としている。） Data train Image : 385 Label : 371 Image : 296 Label : 296 test Image : 75 Label : 75 80% train 20% valid ×５ （5 - Fold）

• https://www.rsna.org/rsnai/ai-image-challenge/brain-tumor-ai-challenge-2021

4. 使用アルゴリズムについて（１） 物体検出及び分類 … Yolo（You Only Look Once） ver.8 • 対象画像を小領域に分割し、特徴を検出するCNN系列の手法。 • 高精度・高速なため、自動運転などのリアルタイム検出に使われている。 • SOTA（State Of The Art：現在の最先端手法）である。 Joseph Redmon and Santosh Divvala and Ross Girshick and Ali Farhadi, "You Only Look Once: Unified, Real-Time Object Detection, CVPR 2016 papers, 2016, https://arxiv.org/abs/1506.02640

• https://arxiv.org/abs/1506.02640

4. 使用アルゴリズムについて（２） 検出物体の可視化 … SAM（Segment Anything Method） • 2023年にMeta社が公開したセグメンテーションの基盤モデル （セグメンテーションとは画像を画素レベルで個別のグループに分割すること） • このモデルでは自然言語処理から画像向けに転用した深層学習手法、ViT（Vision Transformation）を使用している。 • Yolov8で検出した脳腫瘍の座標をSAMモデルに与え、可視化させた。 Alexander Kirillov and Eric Mintun and Nikhila Ravi and Hanzi Mao and Chloe Rolland and Laura Gustafson and Tete Xiao and Spencer Whitehead and Alexander C. Berg and Wan-Yen Lo and Piotr Dollár and Ross Girshick, "Segment Anything", ICCV 2023 open access, 2023, https://arxiv.org/abs/2304.02643

• https://arxiv.org/abs/2304.02643

5. 結果（Axial：横断面） 評価データ（Valid）及び試験データ（Test）の両方において精度が高い 試験データ（Valid） 評価データ（Valid） all negative positive mAP50 mAP50-95 precision 100% 86.2% 100% 100% 86.9% 100% 100% 85.6% 100% Predicted Image Recall F1-Score 100% 100% 99.0% 100% 100% 100% Real Image all negative mAP50 mAP50-95 precision 98.7% 84.5% 97.5% 98.7% 84.5% Segmented Image Recall 99.0% F1-Score 98.3%

5. 結果（Coronal：冠状面） 評価データ（Valid）及び試験データ（Test）の両方において精度が高い 試験データ（Valid） 評価データ（Valid） all negative positive mAP50 mAP50-95 precision 97.9% 85.9% 100.0% 99.5% 88.0% 100.0% 96.4% 83.8% 100.0% Predicted Image Predicted Image Recall F1-Score 97.6% 97.6% 100.0% 100.0% 96.3% 96.2% Real Image Real Image all negative positive mAP50 mAP50-95 precision 99.0% 84.3% 96.0% 99.4% 85.5% 94.1% 98.6% 83.1% 98.0% Segmented ImageImage Segmented Recall F1-Score 95.1% 95.5% 94.1% 94.1% 96.0% 97.0%

5. 結果（Sagittal：矢状面） 比較的、精度が低い ← 腫瘍部が全体に比べ小さいため、学習と検出が困難だった。 試験データ（Valid） 評価データ（Valid） all negative positive mAP50 mAP50-95 precision 95.4% 79.7% 77.1% 95.7% 82.6% 92.4% 95.1% 76.8% 69.6% Predicted Image Image Predicted Recall F1-Score 95.5% 85.3% 97.1% 94.7% 72.7% 71.1% Real Image Real Image all negative positive mAP50 mAP50-95 precision 91.1% 76.8% 56.0% 92.2% 73.6% 56.0% 90.0% 80.0% 94.7% Segmented ImageImage Segmented Segmented Image Recall F1-Score 49.1% 58.7% 48.3% 51.9% 50.0% 65.5%

6. 次の施策（改良点） （案の１） ① より多くの学習データを与え、モデルに強化学習を施す ② Data Augmentation：データ拡張をし、画像データを水増しする （例） • 輝度値を変える • 回転を加える （案の２） SAHIを施す。（腫瘍部が小さいため、検出精度が下がっている場合） SAHI：Slicing Aided Hyper Inference 推論時、小領域を重複して探索することで、小物体を検出するアルゴリズム

7. 作成スケジュール 成果物種類 画像による脳腫瘍の 検出 ツール 工程 細目 07/16 07/17 07/18 07/19 07/20 07/21 07/22 07/23 07/24 07/25 07/26 07/27 07/28 07/29 07/30 07/31 08/01 08/02 08/03 08/04 08/05 08/06 08/07 08/08 08/09 08/10 08/11 08/12 08/13 08/14 08/15 08/16 08/17 08/18 08/19 08/20 08/21 08/22 08/23 08/24 08/25 08/26 08/27 08/28 08/29 09/10 09/11 09/12 09/13 09/14 09/15 09/16 09/17 09/18 09/19 09/20 火 火 水 木 金 土 日 月 火 水 木 金 土 日 月 火 水 木 金 土 日 月 火 水 木 金 土 日 月 火 水 木 金 土 日 月 火 水 木 金 土 日 月 火 水 木 水 木 金 土 日 月 火 水 画像検出技術の調査 R-CNN Tensorflow 画像検出技術の習得 Faster-RCNN Yolov8 セグメンテーションモデルの習得 Pytorch SAM 課題の設定 コードの作成 モデルの改良 ポートフォリオの作成 文書作成 スライド作成 作成に要した時間（延べ）：２箇月弱 • 事前調査：15日 • 試作品（精度が出るまで）：６日（18時間） • モデルの改良（交差検証）：３日（８時間） • 文書作成：21日 但し、 • 就活準備（写真撮影や書類） • 他の成果物の作成 で本来時間の1.5～2倍の期間を記している。 木 金

8. 苦労、実践したこと • 苦労点 ➢実機（M1 Mac）での学習におけるミニバッチサイズの設定 ライブラリの仕様で適切なバッチサイズを設定しないと • 計算が回らなかったり • メモリリークが発生した ので、適切な設定の探索に時間を要した。 ↑ オフライン環境や限られたメモリ資源での開発を想定した。 • 実践したこと ➢SAMの導入 脳全体を明示化しないよう、Yolo v8モデルで検出した領域を与えることで 腫瘍周辺に限定できた。また、SAMは多くのメモリを要するが、処理範囲 を限定することで省メモリ化で実装できた。

ご清聴ありがとうございました