【DL輪読会】Standardized Max Logits: A Simple yet Effective Approach for Identifying Unexpected Road Obstacles in Urban-Scene Segmentation

DEEP LEARNING JP [DL Papers] Standardized Max Logits: A Simple yet Effective Approach for Identifying Unexpected Road Obstacles in Urban-Scene Segmentation Yuting Lin, Kokusai Kogyo Co., Ltd.(国際航業) http://deeplearning.jp/ 1

• http://deeplearning.jp/

書籍情報 • タイトル – Standardized Max Logits: A Simple yet Effective Approach for Identifying Unexpected Road Obstacles in Urban-Scene Segmentation • 著者 – Sanghun Jung*1 Jungsoo Lee*1 Daehoon Gwak1 Sungha Choi2 Jaegul Choo1 – 1KAIST AI 2LG AI Research • ICCV2021(oral)に採択 • Paper – https://openaccess.thecvf.com/content/ICCV2021/html/Jung_Standardized _Max_Logits_A_Simple_yet_Effective_Approach_for_Identifying_ICCV_2021_ paper.html • Code – https://github.com/shjung13/Standardized-max-logits 2

• https://openaccess.thecvf.com/content/ICCV2021/html/Jung_Standardized_Max_Logits_A_Simple_yet_Effective_Approach_for_Identifying_ICCV_2021_paper.html
• https://github.com/shjung13/Standardized-max-logits

概要 • 提案手法の概要 – 道路等の都市環境にて、semantic segmentationにおける異常物体検出を対象 • 学習データとして定義されていないもの • OOD(Out-of-Distribution） – 簡単な解決策 • モデルの推定結果（確率）の活用 • クラスに依存するため、結果が不安定 – 本論文は、簡単な解決策を提案 • クラス間の推定結果を正規化 • 隣接の結果と照合し、結果を改善 • 別のデータセットや、再学習を要しない 3

既往研究 • Detecting unexpected objects in semantic segmentation – 異常クラスの学習に、別のデータセットを使用 • ImageNet上の物体をcropし、学習データに貼り付ける – 一般的OOD問題と扱う • 再学習が必要となる – 画像の再生成（resynthesis） • segmentationの結果から、元の画像を再現し、元画像との差分を異常物とする • 推論時間が長くなってしまう 4

既往研究 • Detecting unexpected objects in semantic segmentation – 学習済モデルのみ利用 • 通常物体の推定確率（MSP, maximum softmax probability）が異常物体より高い • MSPは高い確率を出す傾向があるため、異常物体の確率を高める恐れがある • max logit（softmax前の確率）は、クラス毎にrangeが異なる 5

提案手法の全体図 1. Max logitを取得し、class-wiseな正規化を行う ⚫ 異常物体の確率は、一部のIn-distributionクラスより、高い可能性がある 2. 境界付近のfalse positiveを徐々に除去 ⚫ 境界付近のFPの確率は低い傾向 ⚫ 細かいFPに対し、local consistencyを利用してsmoothingを行う 6

提案手法 • Notation – – – – – – Input image: 𝑋 = 𝑅3×𝐻×𝑊 , C＝pre-defined class logit output 𝐹 ∈ 𝑅𝐶×𝐻×𝑊 max logit 𝐿 ∈ 𝑅𝐻×𝑊 prediction 𝑌෠ ∈ 𝑅𝐻×𝑊 at location h, w • 𝐿ℎ,𝑤 = max 𝐹𝑐,ℎ,𝑤 𝑐 • 𝑌෠ℎ,𝑤 = argmax 𝐹𝑐,ℎ,𝑤 𝑐 7

提案手法 • Standardized Max Logits (SML) in class-wise manner – 学習サンプルから、各クラスのmax logitの平均𝜇𝑐 と分散𝜎𝑐2を取得しておく – where i=training sample, は指示関数 – テスト画像の各画素に対し、SMLを計算 8

提案手法 • Enhancing with Local Semantics – Iterative boundary suppression – 境界に隣接しない画素のSMLを境界画素に伝播し、段階的に境界を縮小させ、 境界あたりのfalse positiveとfalse negativeを段階的に除去 • i-th iterationのboundary widthをriとする（ハイパラ） • non-boundary maskを生成：該当画素の分類結果が同じかつ、距離＜ ri 9

提案手法 • Enhancing with Local Semantics – Iterative boundary suppression – 境界に隣接しない画素のSMLを境界画素に伝播し、段階的に境界を縮小させ、 境界あたりのfalse positiveとfalse negativeを段階的に除去 • 境界画素に、boundary-aware average poolingを適用 • boundary width ri はΔ2, iteration=4, r0=8 10

提案手法 • Enhancing with Local Semantics – Dilated smoothing – 細かい誤検出の分類確率が低い/高い場合、前の方法は除去できない – local consistencyを利用し、dilated Gaussian kernelで除去 – where k=7, dilation rate=6, σ=1 11

実験 -データセット • Fishyscapes Lost & Found – Cityscapesの画像に、本物の異常物（from Lost & Found DS）を合成 • Fishyscapes Static – Cityscapesのvalidationデータに、PASCAL VOCの物体を異常物体として合成 • Road Anomaly – 60サンプルのみだが、様々な道路シーンがあり、チャレンジングなDS Fishyscapes Road Anomaly 12

実験の設定 • Cityscapesで学習したDeepLabv3＋を使用（backboneは ResNet101） • 評価基準 – AUROC: area under receiver operating characteristics – AP – FPR95: false positive rate at a true positive rate of 95% 13

実験結果 • Fishyscapes leaderboardとの比較 – 別情報・再学習が必要な手法と比較しても劣っていない – 同条件の手法において、SOTA 14

実験結果 • 同条件の手法と比較 – 3つのDSで、SOTAを達成 – 特に、誤検出を大幅に削減 15

実験結果 • 定性評価 – 既存手法より、境界における誤検出を大幅に削減 16

実験 – ablation study • SMLが最も効果的 – MSPは、異常物体とin-distributionをうまく分類できない可能性がある – Max logitは、クラスに依存し、不安定になる • Iterative boundary suppressionがない場合、確率の低いnonboundary画素は、boundary画素のSMLが伝播されてしまう可能性が ある 17

考察 • Semantic segmentationへの影響 – 元のsegmentation結果は大きく劣化していない – 提案手法の実用性が高い 18

考察 • 異なるbackboneの性能比較 – 提案手法の拡張性を確認 19

考察 • 処理時間・計算量 – 提案手法の計算量が少ない 20

まとめ • 本論文は、semantic segmentationにおける異常物体を検出するシンプ ルな手法を提案 • Standardized Max Logitは、(in-distribution)クラス間の違いを考慮し た異常物体の確率を推定 • Iterative boundary suppressとDilated smoothingで、false positiveと false negativeを削減し、性能を向上 • 提案手法は、再学習と、追加のOODデータセットが不要で、計算量も 少ない • 十分な実験を行い、提案手法の有効性を検討 21