人工知能技術を用いた核医学画像処理の現在と未来 (2023/11/16)

2023/11/16 第63回 ⽇本核医学会学術総会/第43回 ⽇本核医学技術学会総会学術⼤会 合同シンポジウム ⼈⼯知能技術を⽤いた 核医学画像処理の現在と未来 ⼤阪公⽴⼤学医学部附属病院 中央放射線部 ⽚⼭豊 • 注釈のない画像は DALL·E 3 で⽣成した画像 (Prompt: Generates images for nuclear medicine examinations.)

発表演題名：⼈⼯知能技術を⽤いた核医学画像処理の基礎 ⽇本核医学技術学会 COI開⽰ 筆頭発表者名：⽚⼭ 豊 講演内容の⼀部は JSPS 科研費 19K09533 の助成を受けた ■

講演スライドについて • 公演スライドは Docswell と SlideShare で公開中 Docswell (新) SlideShare (旧)

本⽇の内容 (要約) • Artificial Intelligence (AI) とは • AI を⽤いた⾃験例の紹介 • ⽣成 AI • まとめ Prompt: A book is open on the desk and the table of contents is displayed.

本⽇の内容 • Artificial Intelligence (AI) とは • AI を⽤いた⾃験例の紹介 • ⽣成 AI • まとめ Prompt: Digital art of training data for artificial intelligence training

AI ができること・していること • ⼊⼒に対して適切な出⼒を出すシステム • 膨⼤な計算を膨⼤なエネルギーを使って 膨⼤な半導体を動作させて 解答または選択肢を絞り込む ⇒ 強引なやり⽅ ⇒ 数を撃てば当たるの総当たり戦略 • Machine learning is just statistics ! Prompt: Generate a image of the data set Prompt: needed for artificial intelligence

⼈と AI の⽐較 多様な情報から学習 複数の情報が複合的に関連付けられる 順⽅向，逆⽅向に解決可能 Prompt: The face of a smiling doctor in a white coat . データ セット Prompt: Imagine a futuristic robot that embodies Prompt: the essence of artificial intelligence. 判断 機械 学習 判断 複数の情報が複合的に関連付けられていない 順⽅向に解決可能，逆⽅向は解決不可能

RadImageNet • ImageNet の画像は⾃然画像 • ⾃然画像と放射線画像は 異なる分布 • ImageNet の画像を医⽤画像 タスクに使うことに対する問題点 • RadImageNet は ImageNet の放射線画像版 • RadImageNet は 135 万枚の CT/MR/US と学習済モデル • 事前学習に RadImageNet を 使うことで ImageNet に⽐べ， 精度 (AUC) が上昇 (1~10%) • 今後の医⽤画像に対する AI の基準 Mei, Xueyan, et al. "RadImageNet: An Open Radiologic Deep Learning Research Dataset for Effective Transfer Learning." Radiology: Artificial Intelligence (2022): e210315.

⽇本医⽤画像データベース (Japan Medical Image Database: J-MID) • ⽇本医学放射線学会，順天堂⼤学，富⼠フイルム株式会社は， 国内の医療機関で撮影された医⽤画像を集約し⼀元管理するデータベース 「⽇本医⽤画像データベース (Japan-Medical Image Database: J-MID)」向けに 次世代クラウド管理基盤を構築

オープンデータ・データセットの利⽤ • ⽶マサチューセッツ⼯科⼤学 (MIT) は 2020 年 6 ⽉ 29 ⽇， ⼈種差別⽤語や⼥性差別を助⻑するとして，“Tiny Images” と ⾔う⼤規模なデータセットをオフラインにした • “Tiny Images” は，⾼度な物体検出技術を開発するために 8000 万枚以上の画像で成り⽴ち，2008 年に作成された • データセット内に問題のあるラベルのついた画像の例 • AI が⼈種や性別の偏⾒や差別を⽰す例は多数ある • 学習させるデータを如何に 公平公正な品質に保つことが課題 • マイノリティが AI によって不利益になってはならない Prabhu, Vinay Uday, and Abeba Birhane. "Large image datasets: A pyrrhic win for computer vision?." arXiv preprint arXiv:2006.16923 (2020). Figure 1 より引⽤

合成データ (Synthetic Data) の登場 • AI の主流である深層学習では膨⼤な教師データが必要不可⽋ • 現実世界に⾜りないデータを補うために “合成データ” を⽤いる • 実際に撮影された “本物” のデータとは異なり， GAN や Diffusion Model などにより⽣成した “偽物” のデータ “ICCV2021” で Microsoft が発表した “Fake it till you make it” は 合成データのみを⽤いて ⼈間の顔を解析できることを実証 ←図11 学習データとして使⽤するために ランダムに⽣成しレンダリングした合成顔 WOOD, Erroll, et al. Fake it till you make it: face analysis in the wild using synthetic data alone. In: Proceedings of the IEEE/CVF international conference on computer vision. 2021. p. 3681-3691.

脳画像合成データのオープンソース • AI を⽣成する教師データとなる医⽤画像は世界的に不⾜ • 英国キングス・カレッジ・ロンドンが脳の合成画像を 10 万枚⽣成しオープンソースとして公開すると発表 • 合成技術が普及すれば， 教師データを必要とする 関連研究を前進し得ると期待 TUDOSIU, Petru-Daniel, et al. Morphology-Preserving Autoregressive 3D Generative Modelling of the Brain. In: International Workshop on Simulation and Synthesis in Medical Imaging. Cham: Springer International Publishing, 2022. p. 66-78. Fig. 3 Synthetic samples より引⽤ • TUDOSIU, Petru-Daniel, et al. Morphology-Preserving Autoregressive 3D Generative Modelling of the Brain. In: International Workshop on Simulation and Synthesis in Medical Imaging. Cham: Springer International Publishing, 2022. p. 66-78.

合成データの危険性 • ⼈間によるデータで構築された⽣成 AI を ⽣成 AI が⽣み出したデータで学習させると ⼈間によるデータで構築された⽣成 AI のモデルが崩壊 • 現状では， ⼤量のデータを集める⽅が 効率的にモデルを作成可能 SHUMAILOV, Ilia, et al. The Curse of Recursion: Training on Generated Data Makes Models Forget. arXiv preprint arxiv:2305.17493, 2023. Figure 1: Model Collapse refers to a degenerative learning process where models start forgetting improbable events over time, as the model becomes poisoned with its own projection of reality. より引⽤ • SHUMAILOV, Ilia, et al. The Curse of Recursion: Training on Generated Data Makes Models Forget. arXiv preprint arxiv:2305.17493, 2023.

⼤量の実画像データの収集が不要な AI • 2022 年 6 ⽉ 13 ⽇に産業技術総合研究所 (産総研) は 数理モデルから⾃動で学習できる画像認識 AI の開発と発表 • 2023 年 9 ⽉ 29 ⽇に画像中の物体を認識する画像識別に加えて， 物体の範囲情報など画像中の詳細内容を把握できる画像領域分割を ⾏う AI の学習に成功し，画像領域分割を含む基礎的な 視覚に関する能⼒を持つ AI を実現たと発表 https://www.aist.go.jp/aist_j/press_release/pr2023/pr20230929_2/pr20230929_2.html

• https://www.aist.go.jp/aist_j/press_release/pr2023/pr20230929_2/pr20230929_2.html

本⽇の内容 • Artificial Intelligence (AI) とは • AI を⽤いた⾃験例の紹介 ⇒ 画像解析/画像処理 • ⽣成 AI • まとめ Prompt: Abstract painting symbolizing artificial intelligence

副甲状腺 (⾃験例) • 99mTc-MIBI 副甲状腺シンチグラフィによる病変の検出 • 2010 年 6 ⽉から 2019 年 3 ⽉までに ⼀次性副甲状腺機能亢進症 (PTPH) と診断された 410 症例の画像を使 ⽤ • 核医学検査では PACS へ キャプチャ画像を転送しているが， 本稿では⽣データ (Static 像) から モデルを作成した． • 早期相/後期相のみを⽤いて 各相でモデルを作成した． Yoshida, A., Ueda, D., Higashiyama, S., Katayama, Y., Matsumoto, T., Yamanaga, T., ... & Kawabe, J. (2022). Deep learning-based detection of parathyroid adenoma by 99mTc-MIBI scintigraphy in patients with primary hyperparathyroidism. Annals of Nuclear Medicine, 36(5), 46

⾻シンチグラフィ (⾃験例) • ⾻転移の検索や治療効果判定に広く⽤いられている • 肋⾻の⾻転移は，肋⾻に沿った接線⽅向に RI 異常集積が認められるため， 斜位像の追加を⾏うことが多い • 正⾯像のみから肋⾻転移を判断するモデルの作成 • 教師データは 402 例の打撲の症例と 437 例の肋⾻転移の症例の Static 像 • 打撲と転移は 90.0 % 以上の精度で判断 (分類) 可能 Differentiation of trauma and bone metastasis in the ribs of bone scintigraphy using AI, and visualization of the site of interest of AI by Grad-CAM@RSNA2021

Work In Progress 超解像技術 (Real-ESRGAN) Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data Xintao Wang1 Liangbin Xie2,3 Chao Dong2,4 Ying Shan1 Codes 1ARC Lab, Tencent PCG 2Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences 3University of Chinese Academy of Sciences 4Shanghai AI Laboratory Introduction ➢ Challenges in Real-World Blind Super-Resolution Real-ESRGAN ➢ High-Order Degradation Process Results and Open Source ➢ Qualitative Comparisons • Unknown and complex degradations • Different and various contents • Deal with them in one unified network ➢ The sinc Filters to Model Common Ringing and Overshoot Artifacts. ➢ Optimize for Anime Images ➢ Contributions • • • Propose a high-order degradation process to model practical degradations, and utilize sinc filters to model common ringing and overshoot artifacts. Employ several essential modifications (e.g., U-Net discriminator with spectral normalization) to increase discriminator capability and stabilize the training dynamics. Real-ESRGAN trained with pure synthetic data is able to restore most real-world images and achieve better visual performance than previous works, making it more practical in real-world applications. ➢ Network Architecture • We employ the same generator architecture as ESRGAN • U-Net discriminator with spectral normalization is used to increase discriminator capability and stabilize the training dynamics ➢ Motivation of Practical Degradation Modelling ➢ Open Source In the GitHub, we provide: • Full training and testing codes • Colab Demo for Real-ESRGAN • Portable Windows / Linux / MacOS executable files for Intel/AMD/Nvidia GPU, which is based on Tencent ncnn Classical degradation model Complicated combinations of degradation processes for real images on the Internet We also incorporate the face restoration method – GFPGAN, to improve the face performance. BasicSR Codes & Models

Ultra Sharp Work In Progress 標準画像に超解像を適⽤ 元画像 Real-ESRGAN

Ultra Sharp Work In Progress Hoffman Phantom の横断像に超解像を適⽤ 元画像 (440 pix) Real-ESRGAN (1760 pix)

Ultra Sharp Work In Progress ⾻シンチの Static 像に超解像を適⽤ 元画像 (256 pix) Real-ESRGAN (1024 pix)

Work In Progress 標準画像に Noise2Void を適⽤ 元画像 元画像にノイズを付与 元画像に ノイズを付与した画像に Noise2Void を適⽤ 元画像に ノイズを付与した画像に Gaussian Filter を適⽤ • Noise2Void を適⽤した画像はボケの少ない統計ノイズが低減された画像が出⼒されている 標準画像に対してノイズを付与しノイズ低減を⾏った例 ⼈⼯知能技術を⽤いたノイズ低減処理は， 従来の平滑化フィルタに⽐べて統計ノイズを選択的に低減することができ， Gaussian Filter 適⽤画像に⽐べて先鋭度が保持されている． Noise2Void は教師なし⼿法であるゆえ，汎⽤性が⾼いノイズ低減アルゴリズムであると⾔える．

Work In Progress ⾻シンチの Static 像に Noise2Void を適⽤ 元画像 元画像に Noise2Void を適⽤ 元画像に Gaussian Filter を適⽤ • Noise2Void を適⽤した画像はボケの少ない統計ノイズが低減された画像が出⼒されている

Work In Progress 学習データに対する画像処理の可能性 • 統計ノイズが多い ⇒ 正則化に悪影響 • 分解能が悪い ⇒ 画像の特徴 (形状) を得難い • 画像処理を適⽤ ⇒ 画質の均⼀化 ⇒ 教師データの品質が揃う • 前処理として画像処理を利⽤ Prompt: Draws on the possibilities of image processing for supervised data.

本⽇の内容 • Artificial Intelligence (AI) とは • AI を⽤いた⾃験例の紹介 • ⽣成 AI ⇒ text2text/text2image… • まとめ Prompt: The face of a smiling doctor in a white coat .

⽣成 AI (Generative AI) • 2014 年に画像⽣成モデルの⼀つである Generative Adversarial Networks (GAN)1 が登場 • 2020 年ごろに GAN を Generative Al と⾔う表現 • 2022 年 8 ⽉以降に⽣成 AI がブームになるまでは ⼈間と同等以上の成果を出した⼈⼯知能技術は ⽂字認識や物体を認識などの検出/分類が主流 ⇒ 検出/分類を実現する AI と区別するために ⇒ Generative AI (⽣成 Al) と呼ばれている 1. Goodfellow, I. J. (2014). On distinguishability criteria for estimating generative models. arXiv preprint arXiv:1412.6515. Prompt: Generative Adversarial Networks

⽣成 AI (Generative AI) • ⽣成 AI はプロンプトに応答して テキストや画像などの他のメディアを⽣成することができる AI1,2 • ⽣成 AI モデルは，⼊⼒された訓練データの規則性や構造を学習し， 同様の特性を持つ新しいデータを⽣成3,4 • チャットボット ⇒ ChatGPT: OpenAI/Bard: Google • 画像⽣成モデル ⇒ Stable Diffusion: Stability AI/DALL-E: OpenAI • ⾳楽⽣成モデル ⇒ MusicLM: Google/MusicGen: Meta 1. 2. 3. 4. Prompt: Imagine a futuristic robot “Anthropic Said to Be Closing In on $300 Million in New A.I. Funding”. en:The New York Times (2023年1⽉27⽇). Prompt: that embodies the essence of artificial intelligence Lanxon, Nate; Bass, Dina; Davalos, Jackie (2023年3⽉10⽇). “A Cheat Sheet to AI Buzzwords and Their Meanings”. Bloomberg News Pasick, Adam (2023年3⽉27⽇). “Artificial Intelligence Glossary: Neural Networks and Other Terms Explained”. The New York Times. ISSN 0362-4331 “Generative models”. OpenAI (2016年6⽉16⽇).

⽣成 AI の可能性 • 問診の⾃動化 (多国語対応) ⇒ 問診 • ⼊⼒された画像の解析 ⇒ 画像を主題とした対話 • 通常では得られないデータの⽣成 ⇒ 2D/3D 変換

ChatGPT - 対話を実現する AI ⾮公式のデスクトップアプリもあり • OpenAI は 2022 年 11 ⽉ 30 ⽇に対話型⾔語モデル “ChatGPT” を発表 • ⼊⼒されたの質問に回答，誤りを認めたり，間違った前提に異議を唱えたり，不適切な要求を拒否できる

MRI 検査前の問診を実現する AI • ファインチューニングで 核医学にも対応可能 • ⼀問⼀答で問診を⾏える • 回答に応じて出⼒が変わる • シングルボードコンピュータで 実現できるモデルも登場 Jetson Nano

⼊⼒された画像に対する会話 • Google の Bard に PET 画像を⼊⼒ • ⾼品質の PET 画像なので，MRI と勘違いした？ ⇒ 学習データに核医学画像少ない (含まれていない) • 病気の発⾒も可能だとする報告もある

⼊⼒された画像に対する会話 • ⼤判焼き，回転焼き，今川焼き，御座候など様々な呼び⽅があるが Google の Bard は今川焼きと呼ぶようです． https://shinume.com/shop/御座候/ より借⽤

⽣成 AI により⽣成した核医学検査 • “Generates bone scintigraphy images” と⼊れても 核医学検査の画像は⽣成できない • 公開されているデータセットはあるが少数

⽣成 AI により⽣成した胸部 X 線画像 • “Image of a Chest X-Ray. ” と⼊⼒し⽣成した画像 • ⽣成画像はユーモアのある画像が出⼒されることがあるが， 学習データと同じ分布の画像を出⼒ ⇒ データ拡張と同等と捉えて良いのか疑問

⼊⼒された画像を⽣成するプロンプト ⼊⼒画像

⼊⼒された画像を⽣成するプロンプト ⼊⼒画像 確かに、ここにあなたが送った画像を⽣成するためのプロンプトがあります： ⼿前に⻘い⾖椅⼦があり、その上に⽝が仰向けに寝ている。 ⽝は茶⾊で⽩い斑点があり、⾜を宙に浮かせている。 ビーンバッグの椅⼦はリビングルームにあり、背景にはテレビ、部屋の反対側にはソファがある。 このプロンプトは、希望するイメージを⽣み出すのに⼗分具体的ですが、まだ創造性の余地を残しています。 例えば、⽝は違う⽝種や⾊でもいいし、リビングルームは違うスタイルで装飾されていてもいい。 以下は、イメージを⽣成するために使⽤できる、より詳細なプロンプトです： ⼿前に⻘い⾖椅⼦があり、その上に茶⾊と⽩の⽝が仰向けに寝ている。 ⽝はラブラドール・レトリーバーで、体重は約60キロ。⽝は⾜を宙に浮かせ、⾆を出している。 ビーンバッグの椅⼦はリビングルームにあり、背景には55インチのテレビ、 反対側には⿊いソファが置かれている。壁は⽩く塗られ、床にはラグが敷いてある。 このプロンプトは、⽝とリビングルームに関するより多くの情報を提供し、より現実的なイメージにつながる可能性があります。 お役に⽴てれば幸いです！

2D から 3D を⽣成する AI • 教師データが豊富にある領域では ⼆次元画像から三次元形状を復元する試みが多数⾏われている． R: Saito, Shunsuke, et al. "PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020. P.91 の Figure 7 より引⽤ L: Ying, Xingde, et al. "X2CT-GAN: reconstructing CT from biplanar X-rays with generative adversarial networks." Proceedings of the IEEE conference on computer vision and pattern recognition. 2019. P10625 Figure 6 より引⽤

⾮⼈⼯知能技術 • 少数の投影像から三次元形状の復元 • Computer Vision 技術を⽤いて ⼆⽅向の画像から三次元形状が復元が可能 • 三次元画像解析に応⽤したい 領域抽出を⾏った後の⼊⼒画像 TO06 ⼈⼯知能・深層学習 (16:50-17:50) で最新版を報告 This work was supported by JSPS KAKENHI Grant Number 19K09533.

本⽇の内容 • Artificial Intelligence (AI) とは • AI を⽤いた⾃験例の紹介 • ⽣成 AI • まとめ ⇒ AI による画像処理の影響 Prompt: Imagine a futuristic robot that embodies Prompt: the essence of artificial intelligence. Prompt: The face of a smiling doctor in a white coat .

医療画像領域の AI 技術は教師データのバイアスが⾼く，モデルを作成した施設以外では性能が発揮されないケースが AI を⽤いたノイズ低減処理による悪影響 • Deep Learning Reconstruction が CT/MRI のみでなく核医学領域にも応⽤ • 医⽤画像 ⇒ 被ばく線量の最適化や装置の幾何学的 ⇒ 制限により⾃然画像に⽐べて ⇒ 統計ノイズが多く低分解能 ⇒ 核医学画像は医⽤画像の中でも低画質 ⇒ 核医学画像に AI を⽤いる利点がある • AI によるノイズ低減処理により， ⼼筋⾎流 SPECT の⽋損部分の コントラストが低下するという報告 YU, Zitong, et al. Need for objective task‐based evaluation of deep learning‐based denoising methods: A study in the context of myocardial perfusion SPECT. Medical physics, 2023.

まとめ • ⼀般的に⼈⼯知能技術は教師データの Bias が⾼い ⇒ 医⽤画像は施設により画質が⼤きく異なる ⇒ 他施設で作成したモデルでは⾃施設で性能が発揮できないことが多い • 画像処理を適⽤することで， 画像の品質 (知的品質) が近づき⼈⼯知能技術の精度が向上する可能性 ⇒ ⼈⼯知能技術を適⽤する⾯からも撮像の標準化が望まれる • 診療放射線技師は提供されたモデルや教師データを理解できなくとも， ⾃施設のデータが提供されたモデルに適⽤できる状態なのかを 判断できる知識や技術が必要

謝辞 • 本講演を終えるにあたり， このような発表の機会を与えて頂いた 滋賀医科⼤学医学部附属病院 ⽊⽥哲⽣⼤会⻑ 第 63 回 ⽇本核医学会学術総会 実⾏委員の先⽣⽅， 第 43 回 ⽇本核医学技術学会総会学術⼤会 実⾏委員の先⽣⽅， 深く感謝申し上げます．