非参照画質メトリクスを用いた動画の物理評価 (2021/04/16)

2021 年 4 ⽉ 16 ⽇ 第 89 回 画像部会 ⾮参照型メトリクスを⽤いた 動画の物理評価 ⼤阪市⽴⼤学医学部附属病院 中央放射線部 ⽚⼭ 豊

Disclosure of conflict of interest We have nothing to declare for this study. the 77th Annual Meeting of the JSRT Japanese Society of Radiological Technology

⾃⼰紹介 [職歴] • • • • • 1998 年: オートバイ⽤マフラーの開発・製造 2003 年: ⼤阪⼤学医学部附属病院 2004 年: 市⽴泉佐野りんくう総合医療センター 2006 年: 社会医療法⼈仙養会 北摂総合病院 2007 年: ⼤阪市⽴⼤学医学部附属病院 [研究歴] • • • • • • • • 2006 年: モンテカルロシミュレーションを⽤いた医療被ばくの線量評価 2010 年: スパースコーディングを⽤いたステレオマッチング 2013 年: バイラテラルフィルタを⽤いたデノイズ処理 2014 年: スパースコーディングを⽤いた超解像 2017 年: 深層学習を⽤いた超解像 2018 年: 超解像を⽤いたデノイズ処理 2019 年: 敵対的⽣成ネットワークを⽤いた放射線画像の⽣成 2020 年: ⾮参照型メトリクスを⽤いた放射線画像の評価

コンテンツ • 放射線画像の物理評価 • ⼯学系の動画評価 • ⾮参照型メトリクスを⽤いた画像評価 • ⾮参照型メトリクスを⽤いた放射線動画の評価

放射線画像の物理指標 (画質指標) • modulation transfer function (MTF) • noise power spectrum (NPS) • スクリーンフィルム系の頃から使⽤ • (ある程度) 絶対的な画質評価が可能 • 画質スコアとして使い易く広く普及 岸本健治, et al. "FCR のオーバーオール MTF 測定: その 3 周波数処理による MTF の変化: 画像理論-3." ⽇本放射線技術学会雑誌 45.8 (1989): 1052. 岸本健治. ⼀般撮影においてのフラットパネルディテクタの評価 (臨床技術講座). ⽇本放射線技術学会雑誌, 2002, 58.4: 455-461.

放射線画像の評価 • MTF や NPS を算出するには， 階調処理の⾏われていない画像 (⽣データ) が必要 • 検出器が computed radiography (CR) から flat panel detector (FPD) へと変化した現在では 各指標の算出に必要な⽣データの取出しが困難 • 放射線画像の評価としては視覚評価が⼀般的 • 医⽤画像は診断のために⼈間が観察するので， 主観評価で画質を評価することが妥当 • 訓練された⼈間の感覚は優秀

⼯学系の動画評価 • 動画コーデック • 動画データを圧縮・変換・復元する⽅式 • H.264/AVC (2003 年) 画質は同等で データ量が半分 • 4K 解像度，フレームレート 60 fps まで対応し， PC ブラウザ，スマートフォン，Web などで利⽤ • H.265/HEVC (2013 年) 画質は同等で データ量が半分 • 8K 解像度の動画だけでなく 携帯端末向けの映像配信での利⽤も想定 • H.266/VVC (2020 年) • 4K，8K 解像度のSDR/HDR (Standard/High Dynamic Range) 動画， 360°パノラマ動画，Light-fieldカメラ， スクリーンコンテンツなど広範な⽤途での利⽤ 動画の画質は何を測定した値なのかが分かり難い

動画の画質に使われる指標 • 解像度 • 各フレームのピクセルサイズ (画素数) • フレームレート • frame per second (fps) とも⾔い， 単位時間あたりに処理される静⽌画数 ⇒ 動画が 1 秒間に何枚の画像から出来ているのか • ビットレート • 動画が 1 秒間に何ビットのデータで作成されているか ⇒ 動画が 1 秒間のデータ量 1 Mbps の動画は，1 秒間に 0.125 Mbyte のデータ量 ∵ 8 bit = 1 byte ⇒ 1 Mbit/8 ＝ 0.125 Mbyte

動画の評価⽅法 • 動画コーデックやエンコードパラメータの優劣は あるデータセットに対する BD-Rate を計算した 評価が⼀般的 • BD-Rate は RD-Curve から計算 • RD-Curve は peak signal to noise ratio (PSNR) などの 評価指標から計算

PSNR • 客観評価⼿法のうち， 頻⽤されている古典的なメトリクス • このメトリクスは⽬標となる動画が必要 ⇒ 完全参照型メトリクス • ⽐較する動画を⼊⼒すると指標が得られる関数 • 指標の単位は デシベル (英語: decibel，記号: dB) で得られる

PSNR • 動画エンコードの評価では， ⾼画質の動画が必ずあるため PSNR を適⽤し易い • 動画の PSNR は全フレームの平均値を結果とする • 値が⼤きいほど⾼品質 (⽐較対象に差が少ない) (MAX: 信号が取りうる最⼤ピクセル値) PSNR 値は同⼀画質であれば 8-bit データに⽐べて 16-bit データの⽅が値は⼤きくなる ⽬的 (信号の種類) によって良好とされる値が異なる

RD-Curve Fourth Annual MSU MPEG-4 AVC/H.264 Video Codec Comparison レポートより引⽤ http://compression.ru/video/codec_comparison/pdf/msu_mpeg_4_avc_h264_codec_comparison_2007_eng.pdf

• http://compression.ru/video/codec_comparison/pdf/msu_mpeg_4_avc_h264_codec_comparison_2007_eng.pdf

RD-Curve • RD-Curve の画像の善し悪しを表す指標には PSNR がよく利⽤される • PSNR を⽤いることに必然性はなく 別の指標を⽤いても良い • RD-Curve を⽤いた放射線動画の評価では， ビットレートは⽐較したい撮影パラメータ (線量，撮影時間およびフレームレートなど) に， 画像の善し悪しを表す指標には 知覚品質とすることで実現可能

BD-Rate • RD-Curve を⽐べることで， 複数のコーデックやパラメータの違いを観察可能 • 定量的にどれぐらいの差があるのか計算する⽅法を， Gisle Bjøntegaard が 2001 年に ITU-T で提案 • この指標は提案者の名前を取って， BD-PSNR (Bjøntegaard delta PSNR) と呼ばれる • RD-Curve は PSNR が同⼀の時のビットレートの違い • その時に得られる差は BD-Rate (Bjøntegaard delta bitrate)

画像評価のガイドライン • 電⼦化⽂書の画像圧縮ガイドライン* では 画像評価に PSNR を推奨 • ⼈間の主観との相関はそれほど強くない • 低 SNR 領域や PSNR 値が低い領域で 視覚評価と相関が悪くなる傾向 • 完全参照型メトリクスには 必ず対応した⾼画質な画像が必要 • 臨床検査の画像を対象とした 医⽤画像評価には不適 * ⼩箱雅彦. 標準化への道 標準化委員会報告 (3) 電⼦化⽂書の画像圧縮ガイドライン. ⽉刊 IM, 2011, 50.5: 21-24.

PSNR から知覚品質へ • PNSR 値が⾼くなるように最適化 • 平均的に良いと思われる画像 ⇒ ボケる傾向 • 知覚品質と PSNR の関係性を定量的に評価 • The perception-distortion tradeoff* ⇒ 超解像では知覚品質と歪みにはトレードオフがある ⇒ 知覚品質と歪みの精度を同時に⾼めることは不可能 • 超解像による⽣成画像は知覚品質を⽤いて評価 • “Ma et al.” と⾔う指標で評価 * BLAU, Yochai; MICHAELI, Tomer. The perception-distortion tradeoff. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018. p. 6228-6237.

知覚品質 • ECCV 2018 PRIM Workshop で開催された 超解像コンペティションでは 知覚品質の歪みのトレードオフ問題を踏まえて， 従来の評価⼿法 (PSNR，SSIM) とは異なる 新しいメトリクスが導⼊ Perceptual score = 1/2((10 - Ma et al.) + NIQE) • Ma et al. 3 つの低レベルの統計的特徴から 2 ステージの回帰モデルを構築することでスコアを算出する仕組み • NIQE ⇒ ⾮参照型メトリクスの⼀種 モデルを学習させるために使⽤されるイメージデータベースから取得された特徴と 測定したいイメージから計算された natural scene staXsXc: NSS ベースの特徴の間の距離を測定 • ⾮参照型メトリクスは⽬標画像がなくとも画質評価が可能

⾮参照型メトリクスの種類 • ⼊⼒画像の統計的な特徴量を使⽤して画質評価 ⇒ スコアが⼩さいほど知覚品質が良好 • Blind/Referenceless Image Spatial Quality Evaluator (BRISQUE) • 既知の歪んだ画像から natural scene statistic (NSS) 特徴量を抽出し， サポートベクター回帰を使⽤して画質スコアを予測 • 教師あり⼿法のため学習済みモデルが必要 • Natural Image Quality Evaluator (NIQE) • モデル学習に使⽤されるデータベースから取得された特徴と 測定したい画像から計算された NSS 特徴との距離を測定する⼿法 • 教師あり⼿法のため学習済みモデルが必要 • Perception based Image Quality Evaluator (PIQE) • PIQE はブロック単位の歪みを推定し，知覚される歪みのある ブロックの局所分散を測定して画質スコアを計算 • 教師なし⼿法のため学習済みモデルを必要としない

⾮参照型メトリクスによる評価 • 放射線画像は，装置の幾何学的な制約や 患者被ばく低減の観点から 必要な画質が決定されており 理想的な⽬標画像を得ることが困難 • 旧来より⽤いられてきた指標では 臨床検査の動画を直接評価できない • ⾮参照型メトリクスの中でも PIQE のスコアを画像の善し悪しを表す指標に⽤い RD-Curve を求める⼿法を放射線動画に適⽤

実験環境 撮影モード リカーシブ フィルタの強さ Abdomen 弱い 100 Abdomen Low Dose 弱い 80 Abdomen Low Noise 強い 105 Neuro 強い 105 Cardiac 弱い 125 Cardiac Low Dose 弱い 60 撮影線量 [%] • 使⽤機器: Artis zee BA Twin (SIEMENS) • 管電圧: 65 [kV]，撮影レート: 7.5 [fps] • ファントム: 動態ファントム • 線量: Cardiac > Neuro = Abdomen Low Noise > Abdomen > Abdomen Low Dose > Cardiac Low Dose • リカーシブフィルタを加味すると，Cardiac と Abdomen の評価が⾼くなると考えれる

Abdomen Neuro Abdomen Low Dose Cardiac Abdomen Low Noise Cardiac Low Dose

Abdomen Neuro Abdomen Low Dose Cardiac Abdomen Low Noise Cardiac Low Dose

結果 - PIQE PIQE 値 PIQE 値 35 25 30 23 25 20 21 15 ー Abdomen ー Abdomen Low Dose ー Abdomen Low Noise ー Neuro ー Cardiac ー Cardiac Low Dose 10 5 19 17 0 0 20 40 Frame 60 80 15 Abdomen Abdomen Low Dose Abdomen Low Noise Neuro Cardiac Cardiac Low Dose Cardiac -> Abdomen -> Neuro -> Abdomen Low Dose -> Abdomen Low Noise -> Cardiac Low Dose

結果 - PIQE の⽐較 撮影線量: 100% PIQE 値 PIQE 値 リカーシブフィルタ: 弱い PIQE 値 25 25 25 20 20 20 15 15 15 10 10 10 5 5 5 0 0 Abdomen Abdomen Low Noise 0 Abdomen Cardiac リカーシブフィルタ: 強い Abdomen Low Dose Cardiac Cardiac Low Dose Abdomen Low Noise Neuro リカーシブフィルタの強さ 撮影線量 撮影線量 Cardiac = Abdomen < Abdomen Low Noise Cardiac > Abdomen > Abdomen Low Dose > Cardiac Low Dose Neuro > Abdomen Low Noise PIQE PIQE PIQE • 同⼀線量で⽐較 ⇒ リカーシブフィルタが弱い⽅が良好 • 同じリカーシブフィルタで⽐較 ⇒ 線量が多いほど良好 • 同じリカーシブフィルタで⽐較 ⇒ 線量が多いほど良好 Cardiac = Abdomen < Abdomen Low Noise Cardiac < Abdomen < Abdomen Low Dose < Cardiac Low Dose Neuro < Abdomen Low Noise • 測定した結果は撮影条件に応じた結果

各パラメータでの⽐較 • 処理パラメータ • i-Noise Reduction ⇒ Auto 1~7 • k-factor ⇒ Auto 1~7 • i-Noise Reduction • 画像の周波数帯域ごとに 信号の強調やスムージングを⾏うマルチ周波数処理 • k-factor • 過去の画像情報を重みづけを⾏い リアルタイムの画像に重ね合わせを⾏う 加重平均化フィルタ (時間軸フィルタ) • それぞれのパラメータを変化させ PIQE の値を⽐較

65.54 72.04 68.88 67.60 i-Noise Reduction: 1 k-factor: 1 i-Noise Reduction: 2 k-factor: 1 i-Noise Reduction: 3 k-factor: 1 i-Noise Reduction: 4 k-factor: 1 65.87 66.57 63.04 63.65 i-Noise Reduction: 6 k-factor: 1 i-Noise Reduction: 7 k-factor: 1 i-Noise Reduction: Off k-factor: Off i-Noise ReducXon: 5 k-factor: 1 36 nGy/p

65.54 72.04 68.88 67.60 i-Noise Reduction: 1 k-factor: 1 i-Noise Reduction: 2 k-factor: 1 i-Noise Reduction: 3 k-factor: 1 i-Noise ReducXon: 4 k-factor: 1 65.87 66.57 63.04 63.65 i-Noise Reduction: 6 k-factor: 1 i-Noise Reduction: 7 k-factor: 1 i-Noise Reduction: Off k-factor: Off i-Noise Reduction: 5 k-factor: 1 36 nGy/p

RD-Curve を⽤いた評価 PIQE 値 ー i-Noise Reduction detail: 1 ー i-Noise Reduction detail: 2 ー i-Noise Reduction detail: 3 ー i-Noise Reduction detail: 4 ー i-Noise Reduction detail: 5 ー i-Noise Reduction detail: 6 ー i-Noise Reduction detail: 7 -- Off 78 76 74 72 70 68 66 64 62 60 0 10 20 30 40 50 60 70 80 90 fluoroscopic dose per pulse (nGy/p) マルチ周波数処理の違い

66.01 61.47 59.15 59.75 i-Noise Reduction: 4 k-factor: 1 i-Noise Reduction: 4 k-factor: 2 i-Noise Reduction: 4 k-factor: 3 i-Noise Reduction: 4 k-factor: 4 59.85 60.09 59.65 63.65 i-Noise ReducXon: 4 k-factor: 6 i-Noise Reduction: 4 k-factor: 7 i-Noise Reduction: Off k-factor: Off i-Noise Reduction: 4 k-factor: 5 36 nGy/p

66.01 61.47 59.15 59.75 i-Noise Reduction: 4 k-factor: 1 i-Noise Reduction: 4 k-factor: 2 i-Noise Reduction: 4 k-factor: 3 i-Noise Reduction: 4 k-factor: 4 59.85 60.09 59.65 63.65 i-Noise Reduction: 4 k-factor: 6 i-Noise Reduction: 4 k-factor: 7 i-Noise Reduction: Off k-factor: Off i-Noise ReducXon: 4 k-factor: 5 36 nGy/p

RD-Curve を⽤いた評価 PIQE 値 ー k-factor: 1 ー k-factor: 2 ー k-factor: 3 ー k-factor: 4 ー k-factor: 5 ー k-factor: 6 ー k-factor: 7 -- Off 73 71 69 67 65 63 61 59 57 55 0 10 20 30 40 50 60 70 80 90 fluoroscopic dose per pulse (nGy/p) 時間軸フィルタの違い

RD-Curve を⽤いた評価 • 放射線動画の品質を評価するには， X 軸を撮影線量，Y 軸を PIQE 値とすることで ⽬標画像を必要とせず画質の優劣を評価可能 • PIQE 値は⾼鮮鋭度の画像が⾼評価となるの傾向 ⇒ デバイスの視認性を反映 • PIQE は教師なし⼿法のためモデルを必要としない ⇒どの施設で検討しても同じ尺度で評価可能 • 臨床検査に使っている動画の評価が可能 ⇒ 撮影線量で⽐較すれば異なった装置の⽐較も可能

謝辞 • 本講演を終えるにあたり， このような発表の機会を与えて頂いた 鈴⿅医療科学⼤学 東出了先⽣， ご助⾔を賜りました ⼤阪市⽴⼤学医学部附属病院 岸本健治先⽣， 実験にご協⼒頂いた， ⼤阪市⽴⼤学医学部附属病院 ⾼尾由範先⽣， ⼤阪市⽴⼤学医学部附属病院 阪井裕治先⽣に 深く感謝申し上げます．