[DL輪読会]SiamMOT: Siamese Multi-Object Tracking

DEEP LEARNING JP [DL Papers] SiamMOT: Siamese Multi-Object Tracking Kotaro Omori, Suzuki Yonekura Lab http://deeplearning.jp/ 1

• http://deeplearning.jp/

Object trackingとは • 物体の追跡を⾏なうタスク • 以下のように分類される – – – – SOT or MOT Short term or Long term Siamese or Correlation Filter オンライン or オフライン 2

既存⼿法の課題 • Siamese trackers in SOT – Detectorとtrackerが分離されている(DeepMOT) • Tracking-by-Detection in MOT – Object detection, optical flow, re-identificationを組み合わせているため計算 量的に⾮効率 • Online MOT – 学習時間がかかる • Motion Modeling in SORT – 位置や箱の形といった単純な情報を元に追跡している 3

SiamMOT: Siamese Multi-Object Tracking 4

Siamese Tracker • Object Trackingを⽬標画像から抽出される特徴表現と探索画像から 抽出される特徴表現間の相互関係により得られる汎⽤的な類似性マッ プを学習することで解く • 代表的な⼿法 – SiamRPN • 各グリッドに bounding box の基準となるアンカーを設定し、各グリッドは各アンカーの 物体らしさとアンカーのbounding boxの正解への座標と幅と⾼さへの補正値を出⼒するよ うに学習 5

Siamese trackerによるMotion modeling • Siam TrackerによるMotion modelingを複数instanceに並列で⾏う 6;< • 3465 : フレーム8 6 から抽出された特徴量, 3:6;< : フレーム8 から抽出された特徴量 5 – Mask-RCNNのROI(Region of Interest)という部分で抽出される – FG : オブジェクトのある領域、HG : 探索領域,bounding boxの中⼼位置を保ったままr倍する • LG6;< : M + δにおけるPQRMSQTU PのLPRPVPWPMX RTYZU – t+δにおいてinstanceがvisibleなら⾼いスコアになる 6

Implicit motion model (IMM) • 2つのフレームから特徴量を連結してMLPに学習させることでobject trackingする⼿法 • 以下のように表される 7

Explicit motion model (EMM) • 本⼿法ではこちらを取り⼊れている • IMMに⽐べて以下の点で優れている – Channel単位で独⽴に学習ができる – より細かいピクセルレベルの学習ができる • 以下のように定式化される 8

RPN features • RPN (Region Proposal Network) – フレーム! "#$の画像に対してObject detectionを⾏なうネットワーク – Siamese Tracker による予測とテンプレートマッチングを⾏なう 9

IOU / NMS操作 • NMS (Non Maximum Suppression) – 同じクラスとして認識された領域の重複を防ぐためのアルゴリズム • IOU (Insertion over Union) – 領域の重なり度合いを表す指標 • Area of overlap / Area of Union 10

Training and Inference • 損失関数 – ! = !#$% + !'()(*) + !+,)-,% • 推論 – IOU基準のNMS操作により以下がそ れぞれ⾏われる • Siamese Trackerによる予測 • RPNによるinstanceの検知 • Spatial matching – IOUが0.5以上のところをmatchとす る • solver – Visibly confidenceが閾値αを超えて いるもの – Matchしなかった領域でvcが閾値β を超えるところは作る – 閾値αを下回る部分を消す 11