探求の道 Lead Cleary (2021/10/03)

2021 年 10 ⽉ 03 ⽇ 第 65 回近畿⽀部学術⼤会 探求の道 Lead Clearly - 継続した研究活動 ⼤阪市⽴⼤学医学部附属病院 中央放射線部 ⽚⼭ 豊 本講演内容に利益相反事項はありません． SlideShare

⾃⼰紹介 [職歴] • 1998 年: オートバイ⽤マフラーの開発・製造 • 2003 年: ⼤阪⼤学医学部附属病院 • 2004 年: 市⽴泉佐野りんくう総合医療センター • 2006 年: 社会医療法⼈仙養会 北摂総合病院 • 2007 年: ⼤阪市⽴⼤学医学部附属病院 [研究歴] • 2006 年: モンテカルロシミュレーションを⽤いた医療被ばくの線量評価 • 2010 年: スパースコーディングを⽤いたステレオマッチング • 2013 年: バイラテラルフィルタを⽤いたデノイズ処理 • 2014 年: スパースコーディングを⽤いた超解像 • 2017 年: 深層学習を⽤いた超解像 • 2018 年: 超解像を⽤いたデノイズ処理 • 2019 年: 敵対的⽣成ネットワークを⽤いた放射線画像の⽣成 • 2020 年: ⾮参照型メトリクスを⽤いた放射線画像の評価 [学会] • 2021 年: ⽇本放射線技術学会 近畿⽀部 研究教育委員会 委員 放射線科医局にて撮影 (2018 年 3 ⽉) 趣味で古い電⼦機器を GAN で再現

項⽬ 1. 2. 3. 4. 5. 6. 7. 学術活動の動機 (モチベーション) 研究 seeds の選定 成果の想定 学術活動のデザイン 研究環境 (業務と研究のバランス) 研究の進め⽅ 成果の公開と社会への普及・展開 (研究成果の社会への寄与)

1. 学術活動の動機 (モチベーション) • 診療放射線技師を志した動機 • 救急医療に携わりたい • 困っている⼈の役に⽴ちたい ⇒ 救急医療以外でも⼈の役に⽴ちたい • 先輩の影響 ⼤阪⼤学病院の⻑⾕川浩典さん (2004 年 3 ⽉) • 医⽤画像処理の研究をしていた ⇒ 先輩と同じフィールドに⽴ちたい • 研究を通じて 診療の役に⽴つ技術の確⽴し普及したい 株式会社リジットの⼭本修司さん (2009 年 10 ⽉)

1. 学術活動の動機 (モチベーション) • 無条件に研究に協⼒してくださる⾮医療従事者の共同研究者 第6回 New Clear Imaging Conference 2018 年 1 ⽉ 27 ⽇ ⽇浦慎作先⽣ (兵庫県⽴⼤学) 企業の⽅ですが 利益相反はありません． 上⽥健太郎さん (古河電⼯)

1. 学術活動の動機 (モチベーション) • ⼤学病院だから • ⽐較的装置の更新頻度が⾼い • 様々なメーカ様の協⼒が得やすい • 相談できる先輩が多い ⇒ 研究がし易い環境 • 研究も仕事 (だと思っている) ⇒ 学術活動が評価される体系がある • ⼤学病院故にセクショナリズムが強い ⇒ 部⾨でカテゴライズされる ⇒ 学術発表している部⾨の⼈間

1. 学術活動の動機 (モチベーション) • 新しいことをするのが楽しい⇒ 学術活動は Lifework ≫ 第40回 ⽇本核医学技術学会総会学術⼤会 2020 年 11 ⽉ 13 ⽇ Cafe & Music Second Rooms 2019 年 12 ⽉ 21 ⽇ 第 60 回 近畿⽀部学術⼤会 懇親会 2017 年 1 ⽉ 28 ⽇

2. 研究 seeds の選定 • 仕事で困っていること • 患者の苦痛を解決 (軽減) できる⼿段がないかなど ⇒ 定量性を変えずに検査時間の短縮や画質改善の実現 • 疑問に感じたこと (若い⽅の⽅が気付きが多い) • 当たり前にしていることに疑問を持つなど ⇒ 核医学検査のノイズ低減処理は ⇒ SPECT は Butterworth Filter，PET は Gaussian Filter が多い理由 • 楽したいこと • ルーチンワークの⾃動化など ⇒ ⾻シンチグラフィの追加撮像の可否や FDG-PET の追跡検査の可否を⾃動判断

2. 研究 seeds の選定 • 臨床検査の中に研究課題は沢⼭ある ⇒ 臨床検査を対象とした研究は得たい結果が⾒えている ⇒ 病院で働く診療放射線技師は課題が豊富 320 列 MSCT 装置 Canon 社製 Aquilion ONE 3.0 Tesla MR 装置 SIEMENS 社製 MAGNETOM Vida 半導体検出器搭載 PET/CT 装置 SIEMENS 社製 Biograph Vision

2. 研究 seeds の選定 • 研究テーマ ⇒ 画像処理/画像解析 • computer vision (CV)/artificial intelligence (AI) 技術の医⽤応⽤ • CV とは「コンピュータが動画像を如何によく理解できるか」を扱う研究分野 ⇒ ⼈間の視覚が⾏えるタスクの⾃動化を追求 • コンピュータが実世界の情報を取得する全ての過程を扱う • センシングのためのハードウェアから可視化のためのソフトウェアや 情報認識のための⼈⼯知能的理論まで 適⽤範囲が幅広い • ディジタル画像全般を扱うカテゴリー ⇒ 課題を⾔葉にできれば実現可能 LiDAR Scanner を⽤いた距離画像の⽣成

3. 成果の想定 • 画像処理 • 医⽤画像に適⽤されている画像処理技術は古典的なものが多い ⇒ ⾮線形ではあるが CV/AI 技術を⽤いればより良好な結果は出る ⇒ 最新機器がなくとも研究発表はできる • 画像解析 • 機械学習の基本は⾃動化 ⇒ 既存の枠組を AI に置換 ⇒ ⼀般診療で取得できるデータから ⇒ 偏りのないデータを集めることが重要 • 処理アルゴリズムよりもデータセットが重要 ⇒ データセットの考察を課題に取り組む

3. 成果の想定 • ⾮侵襲的な研究はとりあえずやってみるの精神で OK ! • CV/AI では研究開始前に正しい結果を想定し， 出⼒されている結果を客観的に評価することが重要 • 評価者は適切なデータセットを⽤い 検討されている課題なのかを判断すべき ⇒ データセットの⼯夫で成果は変わる Ueda, D., Katayama, Y., Yamamoto, A., Ichinose, T., Arima, H., Watanabe, Y., ... & Miki, Y. (2021). Deep Learning‒based Angiogram Generation Model for Cerebral Angiography without Misregistration Artifacts. Radiology, 299(3), 677. Table 1: Characteristics of Data Sets より引⽤

4. 学術活動のデザイン • 課題の確定 • CV/AI を⽤いた画像処理 (超解像/デノイズ) は従来⼿法に⽐べて⾼性能 • 核医学画像は⽣データを取り扱える • 核医学画像は低解像度であり，⾼性能な処理端末を必要としない • 核医学画像は古典的な処理が多く，伸びしろが⼤きい • AI を⽤いた画像解析 (Detection/Classification) は臨床適応時期 • 画像のビット数を無視すれば環境構築が最⼤の難関 • 環境構築が完了すれば臨床の場でどう使うかを探索 • データセットが異なると結果が変わるので⾃施設での検証に意味はある • どちらの課題もモダリティに依存しない • ⼿を動かせば (とりあえず) 結果の出る課題がある

4. 学術活動のデザイン • 締切の決定 (締切がなくての論⽂を書ける⼈には不要) • エントリーできる学術⼤会は全て演題登録を⾏う (と宣⾔する) • 放射線技術学会 (総会学術⼤会・秋季学術⼤会・近畿⽀部学術⼤会) • 専⾨学会 (核医学技術学会) ⇒ 開発環境から離れたくない ⇒ (⻑時間⾶⾏機に乗りたくない/私費の旅費を抑えたい) ので ⇒ ⽇帰りで参加できる学会をチョイス • 締切を設定することで⼀つの課題に区切りを付けられる • いつでも演題登録が可能なように演題の在庫を持つ • 放射線領域でない学会や勉強会で発表をする機会を作る

直近 6 年度の学会発表⼀覧 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 2016/04 第 72 回 ⽇本放射線技術学会総会学術⼤会: Application of Super-Resolution to Single-Photon Emission Computer Tomography 2016/06 第 175 回 医⽤画像情報学会: 核医学画像へ超解像を適⽤することによる画質改善効果の評価 2016/10 第 44 回 ⽇本放射線技術学会秋季学術⼤会: スパースコーディングを⽤いたSPECT画像の超解像に適した辞書の作成 2016/11 第 36 回 ⽇本核医学技術学会総会学術⼤会: スパースコーディングを⽤いたか核医学画像の超解像に適した辞書の作成 2017/01 第 60 回 近畿⽀部学術⼤会: 核医学画像に対する超解像の最適なパラメータの検討 (⼤会⻑賞受賞) 2017/04 第 73 回 ⽇本放射線技術学会総会学術⼤会: Consideration of the optimal parameters of the super-resolution for the nuclear medicine images 2017/07 第 50 回 ⽇本核医学会 近畿地⽅会: 深層学習を⽤いた超解像 第60回 近畿⽀部学術⼤会 2017/10 第 37 回 ⽇本核医学技術学会総会学術⼤会: 深層学習を⽤いた超解像 福⻄ 康修 ⼤会⻑ 2017/10 第 45 回 ⽇本放射線技術学会秋季学術⼤会: 深層学習を⽤いた超解像 2018/01 第 61 回 近畿⽀部学術⼤会: 平滑化フィルタを適⽤した PET 画像に対する深層学習を⽤いた超解像の適⽤による⾼解像度画像の再構築 2018/04 第 74 回 ⽇本放射線技術学会総会学術⼤会: Comparison of high resolution images reconstructed applying super-resolution using supervised and unsupervised learning 2018/07 第 51 回 ⽇本核医学会 近畿地⽅会: 線形補間処理を⽤いない超解像の提案 (深層学習) 2018/10 第 46 回 ⽇本放射線技術学会 秋季学術⼤会: ディジタルマンモグラフィに対する超解像を⽤いたノイズ低減処理の提案 (深層学習) 2018/11 第 62 回 近畿⽀部学術⼤会: 吸収補正⽤ CT に対する圧縮センシングを⽤いた 被ばく線量低減への検討 (⼤会⻑賞受賞) 2019/04 第 75 回 ⽇本放射線技術学会総会学術⼤会: Improvement of Resolution Using Super Resolution for Mammography (深層学習) 2019/08 第 9 回 ディジタル画像ミーティング: 深層学習を⽤いた超解像による⾼解像度化処理 - マンモグラフィの⽯灰化評価 ‒ (深層学習) 2019/10 第 47 回 ⽇本放射線技術学会秋季学術⼤会: 超解像を適⽤した画像の分解能特性 (深層学習) 2019/12 第 63 回 近畿⽀部学術⼤会: コイル塞栓術中のコイル⼲渉をリアルタイムに把握できるアルゴリズムの開発 2020/11 第 40 回 ⽇本核医学技術学会総会学術⼤会: No-Reference Metric による核医学画像の評価 2020/11 第 36 回 ⽇本脳神経⾎管内治療学会:コイル塞栓術中のコイル⼲渉を把握できるアルゴリズムの開発 第62回 近畿⽀部学術⼤会 2021/06 MATLAB EXPO JP 2021: CT 画像の客観的評価を実現する⾮参照型メトリクスのカスタムモデルの作成 南部 秀和 ⼤会⻑ 2021/10 第 49 回 ⽇本放射線技術学会 秋季学術⼤会: 超解像の適⽤対象による画質改善効果の違い 2021/11 第 41 回 ⽇本核医学技術学会総会学術⼤会: 半導体 PET への超解像適⽤による画質改善効果の基礎的検討 超解像技術 → CV 技術の医⽤応⽤ → ⼈⼯知能技術の医⽤応⽤

直近 6 年度の講演⼀覧 1. 2017/03 第 24 回 核医学技術セミナー: Sparse coding Super-Resolution を⽤いた核医学画像処理 2. 2017/05 平成 29 年度 近畿⽀部 春季勉強会: 核医学画像に対する超解像の最適なパラメータの検討 3. 2018/09 平成 30 年度 近畿⽀部 学術研究発表ブラッシュアップセミナー: 研究に使える便利なフリーソフト: ImageJ 4. 2019/05 平成 31 年度 近畿⽀部 春季勉強会: 吸収補正⽤ CT に対する圧縮センシングを⽤いた被ばく線量低減への検討 5. 2019/08 第 9 回 ディジタル画像ミーティング: 深層学習を⽤いた超解像による⾼解像度化処理 6. 2019/10 2019 年度 国公私⽴⼤学病院医療技術関係職員研修: 研究活動を通じた科研費取得の 1 モデル 7. 2020/01 第 8 回 New Clear Imaging Conference: ⼈⼯知能を⽤いた医⽤画像処理技術 8. 2020/01 2019 年度 近畿⽀部 実践セミナー 『やってみよう Deep Learning! 』: Deep Learning 概論 9. 2020/04 JRC2020 Web シンポジウム: 病院で働く技師による深層学習を⽤いた研究 10.2020/10 AI 最新技術 Update 会 10 ⽉: Arxiv で直近 1 ヶ⽉⼈気の論⽂まとめ 11.2021/04 JRC2021 シンポジウム: ⾮参照型メトリクスを⽤いた動画の物理評価 12.2021/04 SENS>AIT Web Seminar: ⼈⼯知能技術を⽤いた医⽤画像処理 13.2021/10 放射線技術学会 第 65 回 近畿⽀部学術⼤会: 探求の道 Lead Clearly ← 今回 14.2021/12 AI 最新技術 Update 会 12 ⽉: Arxiv で直近 1 ヶ⽉⼈気の論⽂まとめ (発表: 23 回 + 講演: 14 回) / 6 年 ≒ 6.2 / 年 ⇒ ⼆ヶ⽉に⼀回以上

継続した研究活動ができた理由 • 同⼀コミュニティに研究者の⼈⼝が少なかった • CV を医⽤画像に適⽤する研究を⾏っている⼈が少なかった • 超解像から CV/AI へと研究対象が拡⼤し その後たまたま AI が流⾏しその流れに乗れた • タイミングが良かった/運が良かった • ⼤学病院なので AI に必要な資産が揃っている • CV/AI のコミュニティで活動する機会を頂けた

5. 研究環境 (業務と研究のバランス) • 研究は私にとって趣味 • 臨床検査を⾏いお⾦を稼いでいる • 研究は余暇に⾏う • 研究活動は始業前に⾏う • 頭がクリア • 電話対応を⾏う必要がない • 会議がない 学術活動 臨床検査

5. 研究環境 (業務と研究のバランス) タイムスケジュール 22 23 0 1 2 21 3 就寝 20 4 勉強会 ⾃由時間 19 メールの返信 5 通勤 18 通勤 17 臨床業務 16 8 15 9 14 6 アルゴリズムの実装 ⽂献検索 7 論⽂執筆 学術⽀援 13 12 11 10 04:00 <起床> • メールの返信 ⇒ Gmail の後で送信を利⽤ 06:00 <病院到着> • アルゴリズムの実装 • ⽂献検索・論⽂執筆 08:00 <業務の⽤意> 08:45 <始業> • 診療放射線技師の仕事 ⇒ 臨床業務・会議 17:15 <終業> • 学術⽀援 • 勉強会 22:00 <就寝> 1 ⽇ 2 時間 ×5 ⽇ = 10 時間 (1 週間) ⇒ 1 年を 50 週 とすれば年間 500 時間 ⇒ 約 20 ⽇間相当の時間が得られる

6. 研究の進め⽅ (AI の場合) • 成果が想定されてる課題を決定しデータセットの作成および検証 ⇒ 結果を評価して再検討の繰り返し ⇒ 最新の論⽂ (話題) をチェックして常に次の課題を探す Plan Do Check Action Plan Do Check Action

6. 研究の進め⽅ (⼼がけていること) • 医療にとらわれず技術を⿃瞰できる体系を作る ⇒ 気になった⼿法は⽚っ端から試す (実装する) ⇒ 試さず後悔するより試してみて失敗するほうが良い • Isotope を使った実験を⾏う時は⼊念に実験プランを考える ⇒ 実験に参加する⼈に影響がないように配慮 (被ばく低減)

6. 研究の進め⽅ • ⾃動運転のタスクで天下⼀品のマークが⾞両進⼊禁⽌マークと誤認 ⇒ 医療で同様のことが起こらないか？ ⇒どの様なデータセットがあれば医療データで検証できるかを考察 • 医療に限定しなければ課題は沢⼭ある ⇒ 広い範囲の論⽂に⽬を通す ⾞両進⼊禁⽌マーク

6. 研究の進め⽅ • 2000 年頃は⼈⼯知能の研究は時代遅れと⾔われていた ⇒ 何かがきっかけで状況が⼤きく変わる時がある ⇒ 何事も否定せず，⼀先ず⼿を動かしてみる 引⽤: 総務省 HP 第 1 部 特集 IoT・ビッグデータ・AI ~ネットワークとデータが創造する新たな価値 ~ http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h28/html/nc142120.html

• http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h28/html/nc142120.html

7. 成果の公開と社会への普及・展開 近畿⽀部学術⼤会の抄録が引⽤ ● 核医学 ● AI 2021/08/02 現在の業績 (Google Scholar)

7. 成果の公開と社会への普及・展開 • 学会で研究発表を⾏い会場で議論 • 研究内容をブラッシュアップ • 論⽂投稿 • 査読者と議論 • 論⽂掲載 • 他の論⽂で引⽤ • 論⽂投稿は学会発表に⽐べて派⼿さがない？ • 論⽂投稿は学会発表に⽐べて労⼒が必要？

7. 成果の公開と社会への普及・展開 • 研究のゴールは論⽂なのか？ ⇒ 論⽂は研究のゴールの⼀つ ⇒ 最終的に患者に還元したい • 論⽂投稿のスピード • 論⽂は急いで書く必要はないが 技術のトレンドは⼀時的 ⇒ 2010 年頃から Deep Learning が流⾏し他を駆逐 ⇒ 2020 年頃から Transformer が流⾏し Deep Learning を駆逐 ⇒ 2021 年 Transformer に匹敵する gMLP* が公開 • 書き⽅を知りたければ，近畿⽀部の事業 “論⽂塾” などに参加 * Hanxiao Liu, Zihang Dai, David R. So, Quoc V. Le “Pay Attention to MLPs” arxiv.org/abs/2105.08050 * Multilayer perceptron (MLP)

7. 成果の公開と社会への普及・展開 • 論⽂ • 放射線技術学会 ← ⽇本の技師さんに読んで貰いたい論⽂ • ⾻シンチグラフィへのバイラテラルフィルタの適⽤. ⽇本放射線技術学会雑誌, 69(12), 1363-1371. • PET 画像に対する超解像を⽤いたデノイズ⼿法の適⽤. ⽇本放射線技術学会雑誌, 74(7), 653-660. • Radiology ← 世界に向けて発信したいこと • • Deep learning for MR angiography: automated detection of cerebral aneurysms. Radiology 290.1 (2019): 187-194. Deep Learning‒based Angiogram Generation Model for Cerebral Angiography without Misregistration Artifacts. Radiology 299.3 (2021): 675-681. • 寄稿 • 放射線技術学会誌 ← 普段の研究活動を⾒て声をかけて頂ける • 教育講座 - 放射線技術学における ImageJ の活⽤ - 9．画像の表⽰と処理・解析. ⽇本放射線技術学会雑誌 75 (8), 815-824. • 新春座談会 - AI が医療をどう変えるか放射線科のこれから. ⽇本放射線技術学会雑誌 77 (1), 1-13. • 教育講座 - CT の基礎と最新技術 - 10．最新の⼈⼯知能技術. ⽇本放射線技術学会雑誌 77(12), 掲載予定 • 雑誌 • 画像処理技術の現状と将来展望. インナービジョン 2020 年 1 ⽉号, 16-18. • ⼀般社団法⼈での⾮医療従事者への講演 ←論⽂と SlideShare を⾒て依頼 • SENS>AIT Web Seminar 画像計測

論⽂紹介 この論⽂を⾒た企業の⽅から 声をかけて頂くことが多くなりました． ⽚⼭豊, et al. PET 画像に対する超解像を⽤いたデノイズ⼿法の適⽤. ⽇本放射線技術学会雑誌, 2018, 74.7: 653-660.

論⽂のポイント • 要点: 平滑化効果が統計ノイズの違いによる影響を受け難い • ⾼周波数帯域の情報が⽋落しない平滑化⼿法の提案 • 発想の転換 ⇒ 余り常識にこだわる必要はない • デノイズの論⽂なのに直接的なデノイズ処理を PET 画像に適⽤しない • 画⾓の⼩さな PET 画像にダウンサンプリング処理を適⽤する • 超解像を直接的なアップサンプリング処理として適⽤しない • 実現するための問題点 ⇒ 解決すべき課題 • 教師あり⼿法を⽤いた画像処理には教師データが必要 • 装置の幾何学的な制約や被ばく線量の最適化のため⾼品質画像の取得が困難 ⇒ 医⽤画像を使⽤できないため⾃然画像のみからモデルを作成

画像の供覧 300 sec 600 sec 900 sec 1800 sec (Reference) 元画像 通常処理適⽤画像 Gaussian (FWHM = 4 mm) 提案⼿法適⽤画像 • 放射線画像を⽤いず 超解像モデルを作成できた • 汎⽤性が⾼くボケの少ない ノイズ低減処理が提案し得た

7. 成果の公開と社会への普及・展開 • ⼈⼯知能 Vol.36 No.3 (2021 年 5 ⽉号) • 編集委員からの抱負と提⾔ 2021* • 私の論⽂が採択されないのはどう考えても 編集委員会が悪い！ 研究者の果たすべき役割の⼀つに「何の役に⽴つのか わからないが将来社会に役⽴つかもしれない技術」をつ くっていくことにあるのではないだろうか．これは常 に利益を追求しなければならない営利企業の開発部⾨と は異なる研究者の特権ともいえる． • 趣味で探求を続けることは われわれ医療従事者の特権である！ * https://www.jstage.jst.go.jp/article/jjsai/36/3/36_312/_pdf

7. 成果の公開と社会への普及・展開 • ⼈⼯知能 Vol.36 No.3 (2021 年 5 ⽉号) • 編集委員からの抱負と提⾔ 2021* • 私の論⽂が採択されないのはどう考えても 編集委員会が悪い！ というわけで，「何の役に⽴つのかわからないから Reject」，「新規性が⾒当たらないから Reject」などとい う安易な判断を⾏わず，「今は何の役に⽴つんだかよくわ からないけれど，何かあったときには役⽴つ研究」も評 価できるようになることを編集委員としての今年の抱負 としたい． • 探求を続けることで 誰かの役に⽴つ可能性がある！ * https://www.jstage.jst.go.jp/article/jjsai/36/3/36_312/_pdf

最後に • 9:00 ~ 17:00 の仕事を満⾜するために 17:00 ~ 9:00 に学ぶ ⇒ そのアウトプットとしての学術活動 • 研究を続けることでお声かけ頂ける機会が増えました • 良い研究を論⽂にまとめても必ず誰かの⽬にとまる訳ではないが 論⽂投稿や学会発表 (発信) をしないと誰の⽬にもとまらない ⇒ 数多く発信していれば誰かの⽬に留まる可能性が⾼くなる ⇒ その研究が誰かの役に⽴つかもしれない • 研究での評価は業務評価に⽐べて⽐較的フラットな評価 ⇒ 仕事がし易い環境が構築できる ⇒ 他部⾨からのハラスメントが少し減った気がする

謝辞 • 本講演を終えるにあたり， このような発表の機会を与えて頂いた 滋賀医科⼤学医学部附属病院 ⽊⽥ 哲⽣先⽣， 放射線技術学会 第 65 回近畿⽀部学術⼤会 実⾏委員の先⽣⽅， 深く感謝申し上げます．