医用画像管理と AI (2022/12/04)

⽇本医⽤画像管理学会 2022/12/04 医⽤画像管理と AI ⼤阪公⽴⼤学医学部附属病院 中央放射線部 ⽚⼭ 豊 “医⽤画像管理と⼈⼯知能” で⽣成 講演内容の⼀部は JSPS 科研費 19K09533 の助成を受けたものです．

講演スライドについて • ⼈⼯知能についてまとめたスライドを SlideShare と Docswell で公開しています． SlideShare Docswell

⾃⼰紹介 [職歴] ⇦ 就職氷河期世代なので転職が多い • 1998 年: オートバイ⽤マフラーの開発・製造 • 2003 年: ⼤阪⼤学医学部附属病院 • 2004 年: 市⽴泉佐野りんくう総合医療センター • 2006 年: 社会医療法⼈仙養会 北摂総合病院 • 2007 年: ⼤阪市⽴⼤学医学部附属病院 (現 ⼤阪公⽴⼤学医学部附属病院) [研究歴] ⇦ 主に画像処理の課題を取り扱っている • 2010 年: スパースコーディングを⽤いたステレオマッチング • 2013 年: バイラテラルフィルタを⽤いたデノイズ処理 • 2014 年: スパースコーディングを⽤いた超解像 • 2017 年: 深層学習を⽤いた超解像 • 2018 年: 超解像を⽤いたデノイズ処理 • 2019 年: 敵対的⽣成ネットワークを⽤いた放射線画像の⽣成 • 2020 年: ⾮参照画質メトリクスを⽤いた放射線画像の評価 • 2022 年: Diffusion Model を⽤いた放射線画像の⽣成 [学会] • 2021 年: ⽇本放射線技術学会 近畿⽀部 研究教育委員会 委員 放射線科医局にて撮影 (2018 年 3 ⽉) 古い電⼦機器の再現に取り組んでいる

講演内容の要約 • Ar#ficial Intelligence (AI) 概論 • 最近の AI 技術 • データセット • ⾃験例の紹介 • 放射線画像を教師データとした⼈⼯知能技術 “⼈⼯知能” で⽣成 • DA2DSA-GAN • Detec+on@MIBI • Grad-CAM • ⾃然画像を教師データとした⼈⼯知能技術 • 超解像 • まとめ “街中に居るたぬき” で⽣成

Artificial Intelligence (AI) とは • 「“学習・推論・判断” といった⼈間の知能のもつ機能を備えた コンピュータシステム (広辞苑第三版より)」という定義 • 医療への AI の応⽤を考えた場合も同じ定義 ウマ イヌ “Illustration of Artificial Intelligence” で⽣成

AI ≒ DL？ ルールベース ⇒ “A の場合 B” 形式の 論理ルールで表現し 与えられた問題に対して ルールを適⽤し解を発⾒ 深層学習は ⼈⼯知能を実現する 機械学習の特別な型 ⼈⼯知能 (Ar>ficial Intelligence: AI) ⇒ 総合的な概念と技術 機械学習 (Machine Learning: ML) ⇒ 明⽰的にプログラムせずとも 学習能⼒をコンピュータに与える技術 深層学習 (Deep Learning: DL) ⇒ 機械学習技術の⼀つである Neural Network の多層化により実現した技術

機械学習 • コンピュータにデータを与え， アルゴリズムに基づいた分析をさせる⼿法 • 教師あり学習 ⇒ 学習データに正解を与えた状態で学習させる⼿法 ⇒ ⼈⼯知能の医⽤応⽤ (診断補助) で主流 • 教師なし学習 ⇒ 学習データに正解を与えない状態で学習させる学習⼿法 ⇒ 医療以外では教師なし学習を⽤いた研究が増加 • 強化学習 ⇒ 与えられた条件下で得られる報酬を最⼤化する⽅法を 試⾏錯誤を通じて探索し続ける学習 ⇒ 囲碁，オセロなどのゲーム AI や⾃動運転に利⽤ ⇒ 問診 AI を作るなら強化学習 “⼈⼯知能” で⽣成

AI の歴史 • 技術の歴史: ルールベース⇒機械学習⇒深層学習 ⇒取り扱えるデータ量の増加が各ブームのきっかけ • 2014 年 敵対的⽣成ネットワーク (GAN) • 2018 年 ⾃然⾔語処理 (BERT) • 2020 年 Vision Transformer (ViT) • 2021 年 Mul>modal AI (text2image) 引⽤: 総務省 HP 第 1 部 特集 IoT・ビッグデータ・AI 〜ネットワークとデータが創造する新たな価値〜 http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h28/html/nc142120.html

• http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h28/html/nc142120.html

AI の種類 • 理想: ⼈間のように考えて⾏動できる AI ⇒ 汎⽤的な AI = AGI: Artificial General Intelligence ⇒ 強い AI (Strong AI) • ex) ドラえもん “ドラえもん” で⽣成 • 現実: ⼈より巧みに⾏える物事が予め定義された⼀つに限定 ⇒ 弱い AI (Narrow AI) • ex) iPhone & Siri，Android & Google アシスタント “iPhone の Siri” で⽣成

AI ができること・していること • ⼊⼒に対して適切な出⼒を出すシステム • 膨⼤な計算を膨⼤なエネルギーを使って 膨⼤な半導体を動作させて解答または選択肢を絞り込む “Gaming PC” で⽣成 ⇒ 強引なやり⽅ ⇒ 数を撃てば当たるの総当たり戦略 • Machine learning is just sta9s9cs ! “Illustra7on of Big Data” で⽣成

⼈と AI の⽐較 学習 規則性 判断 系統⽴てて学ぶことで知識が繋がり 外挿が可能となる データ セット 機械 学習 判断 与えられたデータセットの範囲のみの知識なので 外挿は苦⼿である

講演内容の要約 • Artificial Intelligence (AI) 概論 • 最近の AI 技術 • データセット • ⾃験例の紹介 • 放射線画像を教師データとした⼈⼯知能技術 “⼈⼯知能” で⽣成 • DA2DSA-GAN • Detection@MIBI • Grad-CAM • ⾃然画像を教師データとした⼈⼯知能技術 • 超解像 • まとめ “街中に居るたぬき” で⽣成

⽂章要約サービス (text2text) AI により⽂章の要約や⽂章校正を⾏い作業効率が向上するサービスが登場 www.digest.elyza.ai ai-tanteki.com shodo.ink

AI による⽂章⽣成 (text2text) • “医療情報”，“完全に理解した” をキーワードに⽂章⽣成した結果 ニュース記事 メール⽂ 職務経歴書 hUps://www.pencil.elyza.ai

AI による⽂章⽣成 (text2text) • “医療情報”，“完全に理解した”， “⼩⻄康彦先⽣” ， “池⽥⿓⼆先⽣” をキーワードに⽂章⽣成した結果 ニュース記事 メール⽂ 職務経歴書 hUps://www.pencil.elyza.ai

マルチモーダル AI • 数値/画像/テキスト/⾳声などの 複数種類のデータ (Modality) を組み合わせて処理できる 単⼀の AI モデル (ニューラルネットワークのモデル) を指す． • 画像の絵柄，作⾵および構図などは著作権の対象とならないため， Stable Diffusion をはじめとする AI の学習データに 著作物が利⽤されること⾃体は問題ないと解釈されている． • text2image/text2video/text2mesh (3D)/text2audio/text2program などが登場している． ⇒ ⾔語化できれば AI が実現させてくれる． ⇒ GitHub Copilot のライセンスに関する問題で集団訴訟 (⽣成 AI で初)

Stable Diffusion (text2img) • Stable Diffusion (Ini9al Release: 2022/08/22) • 学習データは “美しさ” を重視した データセット “LAION Aesthe-cs” を⽤い， 20 億枚の画像とキーワードのペアを学習 • 延べ 117 万ステップ， 15 万時間の計算が AWS で費やされた • 無償で使える • NovelAI Diffusion の基となっている

AI が⽣成した画像 Stability AI (Stable Diffusion の開発元) Stable Diffusion Stable Diffusion Sacred and wonderful oil pain>ng of a messed up fat cat celebra>ng the arrival of a new era. 新しい時代の到来を祝福するメチャクチャ太った猫の神聖で素晴らしい油絵

DALL·E mini (text2img) • DALL·E mini (Ini9al Release: 2021/07/30) • 3,000 万個のラベル付された画像を分析 し，単語と画素の間にある関係性を 抽出することで収集した統計パターンを 利⽤して画像を作成 • OpenAI が公開したものを含め ウェブから収集した公開画像集から 訓練データをまとめた

DALL·E mini (text2img) • Stable Diffusion では⽣成できなかったが， DALL·E mini では放射線画像が⽣成可能 ⇒ 学習データの違いが原因だと考えられる．

DALL·E mini でデータセットの⽣成 “ChestX-ray14” で⽣成 “CheXpert” で⽣成 “MINIC-CXR” で⽣成

DALL·E mini で JSRT database の⽣成 The standard digital image database with and without chest lung nodules Japanese Society of Radiological Technology JSRT database

テキストベースの画像編集 • 拡散モデルによるテキストベースの 実画像編集ができる Imagic • ターゲット画像を再現できるように ⽂ベクトルと拡散モデルの両⽅を微調整， 元の⽂と調整済⽂の内挿により画像⽣成 Kawar, B., Zada, S., Lang, O., Tov, O., Chang, H., Dekel, T., ... & Irani, M. (2022). Imagic: Text-Based Real Image Edi>ng with Diffusion Models. arXiv preprint arXiv:2210.09276. Fig.2 より引⽤

講演内容の要約 • Artificial Intelligence (AI) 概論 • 最近の AI 技術 • データセット • ⾃験例の紹介 • 放射線画像を教師データとした⼈⼯知能技術 “⼈⼯知能” で⽣成 • DA2DSA-GAN • Detection@MIBI • Grad-CAM • ⾃然画像を教師データとした⼈⼯知能技術 • 超解像 • まとめ “街中に居るたぬき” で⽣成

教師あり学習に必要なデータセット • 画像解析 (病気の検出や分類) の教師データ • 病気のある画像のみが必要 • 病気の組成がわかる • 病理検査の結果があればベスト • 画像処理の教師データ The standard digital image database with and without chest lung nodules Japanese Society of Radiological Technology • 必要な特徴が得られるのであれば⾃然画像で問題ない ⇒ ImageNet や DIV2K などの ⇒ ⾃然画像のデータセットを利⽤ • ⾃然画像のみでは査読者の 理解が得られない可能性 DIV2K dataset: DIVerse 2K resolu@on high quality images as used for the challenges @ NTIRE (CVPR 2017 and CVPR 2018) and @ PIRM (ECCV 2018)

放射線画像のオープンデータセット • 画像と病理が紐付いている疾患のデータセットが多い ⇒ 肺がんや乳がんを対象とした画像が多い ChestX-ray14 (NIH) 30,805 ⼈/112,120 枚 CheXpert (Stanford ML Group) 65,240 ⼈/224,316 枚 MINIC-CXR (MIT) 65,370 ⼈/227,835 枚 ⇒ 公開データにはラベル間違いがある (ChestX-ray14) ⇒ 公開データを⽤いる場合はラベルのチェックが必要

正しい教師データが必要な理由 • 学習時 • 教師あり学習では，AI はデータのバイアスも学習している ⇒ 正しくないデータの持つ特徴を学習して精度が出ないモデルとなる • 検証時 • テストデータの正解は本当に正解なのかを確認することが必要 • 正解が不明だと出⼒された判断が正しい可能性がある ⇒ 作成したモデルの評価が正しく⾏えない • 深層学習で精度を出す根幹はデータの質と量 ⇒ 深層学習は学習データが多くなることで性能向上 • 正しいデータは多ければ多いほど良好データセット ⇒ 必要な医⽤画像を⼤量に取得することが最⼤の課題

Scikit-Learn Algorithms Cheat-Sheet • Scikit-Learn: Python のオープンソース機械学習ライブラリ ⇒ どの様な AI Model を作るときにどれ位のデータ量が必要かをまとめたチートシート

⼤規模データセットの登場 RUSSAKOVSKY, Olga, et al. Imagenet large scale visual recogni7on challenge. Interna7onal journal of computer vision, 2015, 115.3: 211-252.

ImageNet • 物体認識ソフトウェアの研究で ⽤いるために設計された ⼤規模な画像データベース • 1400 万を超える画像に⼿作業で アノテーションを⾏い， 画像に写っている物体を提⽰ • 100 万枚以上の画像に バウンディングボックスが付与 • 2 万を超えるカテゴリがあり， その中には “balloon” や “strawberry” と いった数百枚の画像で構成される ⼀般的な物体カテゴリが含まれている RUSSAKOVSKY, Olga, et al. Imagenet large scale visual recognition challenge. International journal of computer vision, 2015, 115.3: 211-252.

RadImageNet • 135 万枚の CT/MR/US と 学習済モデル • RadImageNet を 事前学習に使うことで ImageNet に⽐べ， 精度 (AUC) が 1 ~ 10%上昇 • 今後の医⽤画像に 対する AI の基準 Mei, Xueyan, et al. "RadImageNet: An Open Radiologic Deep Learning Research Dataset for EffecEve Transfer Learning." Radiology: ArEficial Intelligence (2022): e210315.

オープンデータ・データセットの利⽤ • ⽶マサチューセッツ⼯科⼤学 (MIT) は 2020 年 6 ⽉ 29 ⽇， ⼈種差別⽤語や⼥性差別を助⻑するとして，“Tiny Images” と⾔ う⼤規模なデータセットをオフラインにした • “Tiny Images” は，⾼度な物体検出技術を開発するために 8000 万枚以上の画像で成り⽴ち，2008 年に作成された • データセット内に問題のあるラベルのついた画像の例 • AI が⼈種や性別の偏⾒や差別を⽰す例は多数ある • 学習させるデータを如何に 公平公正な品質に保つことが課題 • マイノリティが AI によって不利益になってはならない Prabhu, Vinay Uday, and Abeba Birhane. "Large image datasets: A pyrrhic win for computer vision?." arXiv preprint arXiv:2006.16923 (2020). Figure 1 より引⽤

合成データ (Synthetic Data) の登場 • AI の主流である深層学習では膨⼤な教師データが必要不可⽋ • 現実世界に⾜りないデータを補うために “合成データ” を⽤いる • 実際に撮影された “本物” のデータとは異なり， GAN や Diffusion Model などにより⽣成した “偽物” のデータ “ICCV2021” で Microsoh が発表した “Fake it >ll you make it” は 合成データのみを⽤いて ⼈間の顔を解析できることを実証 ←図11 学習データとして使⽤するために ランダムに⽣成しレンダリングした合成顔 WOOD, Erroll, et al. Fake it 7ll you make it: face analysis in the wild using synthe7c data alone. In: Proceedings of the IEEE/CVF interna7onal conference on computer vision. 2021. p. 3681-3691.

合成データ (Synthetic Data) の可能性 • シンセティックデータは実際のデータに基づいて⽣成 ⇒ 実際のデータとシンセティックデータは統計的には同じ ⇒ 実際のデータを使って学習させた場合と同じ結論を得られる ⇒ データ不⾜を補うため，プライバシーを守るために有⽤ • シンセティックデータの問題点 ⇒ 合成データはデータセット⾃体が持つ バイアスを回避できると主張 ⇒ 合成データを⽣成するために使⽤された 本物のデータに偏りがない場合のみ成り⽴つ主張

脳画像合成データのオープンソース • 英国キングス・カレッジ・ロンドンが， 脳の合成画像を 10 万枚⽣成し， オープンソースとして公開すると発表 • AI を⽣成する教師データとなる医⽤画像は 世界的に不⾜している • 脳画像の合成技術が普及すれば， 関連研究を⼤きく前進させられると期待 http://amigos.ai/thisbraindoesnotexist/

• http://amigos.ai/thisbraindoesnotexist/

⼤量の実画像データの収集が不要な AI • 産業技術総合研究所 (産総研) は 2022 年 6 ⽉ 13 ⽇に AI の学習に 必要な画像データセットを数式から⾃動⽣成し， 学習済みモデルを構築する⼿法を開発したと発表 • プライバシーやラベル付けコストの問題を解消しつつ， 従来⼿法を上回る精度を提供 • 医療分野や交通シーン解析， 物流現場などに適す 学習に使う画像は全て幾何画像 ⇒ データの偏りによる不当な出⼒は避けられる ⇒ タスク処理の⽣成規則も数式で明確に説明 図 1 実画像や⼈の判断による教師ラベルを必要とせず、 数式から⽣成した教師ラベルで学習された画像理解AIの概念図 hUps://www.aist.go.jp/aist_j/press_release/pr2022/pr20220613/pr20220613.html

講演内容の要約 • Ar#ficial Intelligence (AI) 概論 • 最近の AI 技術 • データセット • ⾃験例の紹介 • 放射線画像を教師データとした⼈⼯知能技術 “⼈⼯知能” で⽣成 • DA2DSA-GAN • Detec+on@MIBI • Grad-CAM • ⾃然画像を教師データとした⼈⼯知能技術 • 超解像 • まとめ “街中に居るたぬき” で⽣成

敵対的⽣成ネットワーク (⾃験例) DSA のミスレジストレーションからの開放 ⇒ マスク像を撮影しない DSA 画像の⽣成

⾎管造影検査 Digital Angiography (DA) → 時間 Digital Subtrac>on Angiography (DSA) → 時間 • 当院の脳⾎管造影検査では DSA のみ PACS に転送している． ⇒ 装置から DA を直接取り出して DA から DSA を作成し学習を⾏なった．

敵対的⽣成ネットワーク ⇒ pix2pix ISOLA, Phillip, et al. Image-to-image translaEon with condiEonal adversarial networks. In: Proceedings of the IEEE conference on computer vision and paUern recogniEon. 2017. p. 1125-1134. Conditional GAN の⼀種である pix2pix を使⽤ Conditional GAN では "条件ベクトルと画像のペア" を学習データとしてその対応関係を学習していたが， pix2pix では "条件画像と画像のペア" を学習データとしてその対応関係を学習 ⇒ pix2pix は条件ベクトルの代わりに条件画像を使⽤し，画像から画像への変換問題を扱う Conditional GAN

Real (DA) Real (DSA) Fake (DA2DSA-GAN)

Real (DA) Real (DSA) Fake (DA2DSA-GAN)

本課題のポイント • 敵対的⽣成ネットワークが話題 (だった) • 教師あり⼿法は教師なし⼿法に⽐べて⾼性能 ⇒ CycleGAN を使いたくなかった ⇒ ConditionalGAN を使って放射線画像処理がしたかった • 普段通りの⼿技を⾏うことで学習⽤データが収集可能 ⇒ データセット数が集まる⾒込みを⽴て易い • 動きの影響が少ない脳⾎管での検討だが，他部位にも応⽤可能 ⇒ 研究の幅が広がる (腹部領域へ応⽤)

副甲状腺 (⾃験例) • 99mTc-MIBI 副甲状腺シンチグラフィによる病変の検出 • 2010 年 6 ⽉から 2019 年 3 ⽉までに ⼀次性副甲状腺機能亢進症 (PTPH) と診断された 410 症例の画像を使⽤ • 核医学検査では PACS へ キャプチャ画像を転送しているが， 本稿では⽣データ (Static 像) から モデルを作成した． • 早期相/後期相のみを⽤いて 各相でモデルを作成した． Yoshida, A., Ueda, D., Higashiyama, S., Katayama, Y., Matsumoto, T., Yamanaga, T., ... & Kawabe, J. (2022). Deep learning-based detecPon of parathyroid adenoma by 99mTc-MIBI scinPgraphy in paPents with primary hyperparathyroidism. Annals of Nuclear Medicine, 36(5), 468-478.

先⾏研究との⽐較 • 99mTc-MIBI 副甲状腺シンチグラフィの感度の⽐較 Wei, et al. (2015) Static 像 SPECT SPECT/CT 63% 66% 95% CI : 51 - 74% Treglia, et al. (2016) 本研究のモデル SPECT/CT Static 像 患者ベース 病変ベース 早期相 遅延相 84% 88% 88% 90% 93% 95% CI : 95% CI : 95% CI : 95% CI : 57 - 74% 78 - 90% 84 - 92% 82 - 92% mFPI=0.58 mFPI=0.47 Sta>c 像のみで SPECT/CT 以上の検出感度

AI の判断基準の可視化 • Grad-CAM Selvaraju, R. R., Cogswell, M., Das, A., Vedantam, R., Parikh, D., & Batra, D. (2017). Grad-cam: Visual explanaEons from deep networks via gradient-based localizaEon. In Proceedings of the IEEE internaEonal conference on computer vision (pp. 618-626).

胸部エックス線写真 (⾃験例) • 撮影された画像と依頼内容が⼀致しているかを判断する AI ⇒ 胸部エックス線写真の撮影⽅向を判断 ⇒ 判断根拠を Grad-CAM で表⽰ AP: 98.6 % の分類精度で判断可能 PA: 99.6 %の 分類精度で判断可能 Deep Convolu>onal Neural Network を利⽤した撮影画像と依頼オーダーの整合性判定@JRC2021

⾻シンチグラフィ (⾃験例) • ⾻転移の検索や治療効果判定に広く⽤いられている • 肋⾻の⾻転移は，肋⾻に沿った接線⽅向に RI 異常集積が認められるた め，斜位像の追加を⾏うことが多い • 正⾯像のみから肋⾻転移を判断するモデルの作成 • 教師データは 402 例の打撲の症例と 437 例の肋⾻転移の症例の Sta'c 像 • 打撲と転移は 90.0 % 以上の精度で判断 (分類) 可能 Differen7a7on of trauma and bone metastasis in the ribs of bone scin7graphy using AI, and visualiza7on of the site of interest of AI by Grad-CAM@RSNA2021

講演内容の要約 • Artificial Intelligence (AI) 概論 • 最近の AI 技術 • データセット • ⾃験例の紹介 • 放射線画像を教師データとした⼈⼯知能技術 “⼈⼯知能” で⽣成 • DA2DSA-GAN • Detection@MIBI • Grad-CAM • ⾃然画像を教師データとした⼈⼯知能技術 • 超解像 • まとめ “街中に居るたぬき” で⽣成

超解像技術 • ⾼解像度画像と低解像度画像の関係を学習し， 与えられた低解像度画像に⾼解像度化処理を適⽤ 低解像度画像 ⾼解像度画像 DALL·E mini で⽣成した画像

超解像技術のブレイクスルー • スパースコーディングを⽤いた超解像 ⇒ Sparse coding Super-Resolution (ScSR) • Yang, Jianchao, et al. "Image super-resolution via sparse representation." IEEE transactions on image processing 19.11 (2010): 2861-2873. • 深層学習を⽤いた超解像 ⇒ Super-Resolution Conventional Neural Network (SRCNN) • Dong, Chao, et al. "Image super-resolution using deep convolutional networks." IEEE transactions on pattern analysis and machine intelligence 38.2 (2015): 295-307. • 敵対的⽣成ネットワークを⽤いた超解像 ⇒ Generative Adversarial Network for Super-Resolution (SRGAN) • Ledig, Christian, et al. "Photo-realistic single image super-resolution using a generative adversarial network." Proceedings of the IEEE conference on computer vision and pattern recognition. 2017.

超解像の教師データ • ⾼解像度かつ統計ノイズの少ない画像が必要 • 装置の幾何学的な制約や被ばく線量の最適化 (正当化) のため， 臨床検査で出⼒している画像以上の画像を取得することが困難 ⇒ ⾃然画像を教師データに⽤い放射線画像の⾼解像度化処理を適⽤ 1. AGUSTSSON, Eirikur; TIMOFTE, Radu. Ntire 2017 challenge on single image super-resolution: Dataset and study. In: Proceedings of the IEEE conference on computer vision and pattern recognition workshops. 2017. p. 126-135.

元画像では滲んでいる辺縁部分が超解像を適⽤することで細部まで観察することができる． 超解像適⽤前後の CT 画像 (SRCNN) 元画像 超解像適⽤画像 第 47 回 ⽇本放射線技術学会秋季学術⼤会

元画像では辺縁部分が明瞭ではないが超解像を適⽤することでエッジがスムーズに観察できる． 超解像適⽤前後の CT 画像 (SRCNN) 元画像 超解像適⽤画像 第 47 回 ⽇本放射線技術学会秋季学術⼤会

超解像を適⽤することで全ての周波数帯域で分解能特性が改善する． 超解像適⽤前後の MTF 1 0.9 0.8 modulation transfer function 0.7 0.6 ̶: 元画像 …: 超解像適⽤画像 0.5 0.4 0.3 0.2 0.1 0 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 spatial frequency [cycles/mm] 0.9 1 1.1 1.2 1.3 1.4 1.5 第 47 回 ⽇本放射線技術学会秋季学術⼤会

元画像では滲んでいる辺縁部分が超解像を適⽤することで細部まで観察することができる． 超解像適⽤前後の MR 画像 (SRGAN) 元画像 超解像適⽤画像 第 79 回 ⽇本放射線技術学会総会学術⼤会

超解像適⽤前後の PET (ESRGAN) ⽬標画像 (440×440) 元画像 (220×220) 超解像適⽤画像 (440×440) • • • • Hoffman Phantom 18F (26 MBq) Biograph Vision (SIEMENS) 収集時間: 30 分間 PSNR: 32.7149 dB

超解像適⽤前後の PET (ESRGAN) ⽬標画像 (440×440) 元画像 (220×220) 超解像適⽤画像 (440×440) • • • • Hoffman Phantom 18F (26 MBq) Biograph Vision (SIEMENS) 収集時間: 30 分間 PSNR: 32.7149 dB

超解像適⽤前後の PET (ESRGAN) 元画像 (440×440) 超解像適⽤画像 (880×880) • • • • Hoffman Phantom 18F (26 MBq) Biograph Vision (SIEMENS) 収集時間: 30 分間

超解像適⽤前後の PET (ESRGAN) 元画像 (440×440) 超解像適⽤画像 (880×880) • • • • Hoffman Phantom 18F (26 MBq) Biograph Vision (SIEMENS) 収集時間: 30 分間

超解像適⽤前後の⾻シンチグラフィ (ESRGAN) 元画像 (256×256) 超解像適⽤画像 (512×512)

講演内容の要約 • Ar#ficial Intelligence (AI) 概論 • 最近の AI 技術 • データセット • ⾃験例の紹介 • 放射線画像を教師データとした⼈⼯知能技術 “⼈⼯知能” で⽣成 • DA2DSA-GAN • Detec+on@MIBI • Grad-CAM • ⾃然画像を教師データとした⼈⼯知能技術 • 超解像 • まとめ “街中に居るたぬき” で⽣成

まとめ • 医⽤画像領域で⽤いられる ⼈⼯知能技術は教師あり⼿法が主流 ⇒ 放射線画像や病理所⾒などの ⇒ 医⽤情報が必要 ⇒ 各施設で倫理的な問題を ⇒ 明確にする必要がある • 今後は⾃⼰教師あり学習や 教師なし学習が主流になっていく ⇒ Vision Transformer (ViT) の躍進 ⾃⼰教師あり学習を⽤いて胸部 X 線画像 (オープンデータデータセット) を ラベルなしで⼤量に学習させ放射線科医なみのスコアを出したと⾔う論⽂ TIU, Ekin, et al. Expert-level detection of pathologies from unannotated chest X-ray images via self-supervised learning. Nature Biomedical Engineering, 2022, 1-8.

教師なし⼿法 (⾮⼈⼯知能技術) • 少数の投影像から三次元形状の復元 • Computer Vision 技術を⽤いて ⼆⽅向の画像から三次元形状が復元が可能 • 99mTc-GSA 検査の三次元画像解析に応⽤したい 領域抽出を⾏った後の⼊⼒画像 This work was supported by JSPS KAKENHI Grant Number 19K09533.

医療ビッグデータの取り扱い • 医療ビッグデータを 創薬などに⽣かす取り組みが進んでいる． • 本邦では 2018 年施⾏の次世代医療基盤法で 個⼈の医療情報を研究機関や製薬企業に 提供する仕組みが整備された． • 内閣府は，医療機関などが保有する 膨⼤な個⼈の医療記録「医療ビッグデータ」 を， 研究機関や製薬企業への提供を⼤幅に拡充す る． ⇒ 提供データを増やすことで， ⇒ データを使った創薬や治療法の ⇒ 研究開発を進めるのが狙い． • 深層学習は データがスケールすると性能がスケールする．

データ流出の危険性 • インターネットで公開されている 画像 50 億点以上を収集して 作成された “LAION-5B” に ⾃分のデータセットに医療情報が流出 • 先天性⾓化不全症という遺伝性疾患の 治療の⼀環として顔の輪郭を再建する ⼿術を受けた • ⼿術時に外科医が撮影した顔写真が医 師の死後にネット上に流出し LAION-5B に収集された可能性 Schuhmann, C., Beaumont, R., Gordon, C. W., Wightman, R., Coombes, T., Katta, A., ... & Jitsev, J. (2022). LAION-5B: An open large-scale dataset for training next generation image-text models. In Thirty-sixth Conference on Neural Information Processing Systems Datasets and Benchmarks Track.

データ流出の危険性 • ⽇本の HP に掲載されている画像が⾒受けられる • ⼀度インターネット上に流出したデータを削除するのは困難 • 個⼈情報の取り扱いには注意が必要

謝辞 • 本講演を終えるにあたり， このような発表の機会を与えて頂いた りんくう総合医療センター ⼩⻄康彦先⽣ 熊本⼤学医学部附属病院 池⽥⿓⼆先⽣ 深く感謝申し上げます．