バスケ試合映像からのトラッキングデータ生成

バスケ試合映像からのトラッキングデータ生成 吉川天斗 AI技術開発部ビジョン・スポーツグループ 株式会社ディー・エヌ・エー © DeNA Co., Ltd. 1

自己紹介 吉川 天斗 / Takato Yoshikawa AI技術開発部 ビジョン・スポーツグループ (24新卒) 川崎ブレイブサンダース AIチーム強化 Prj 主にコンピュータビジョンによる映像解析やデータ分析を担当 🏀バスケ歴：小学校〜高校 Kaggle Master / tenten ©KBT © DeNA Co., Ltd. 2

CV関連技術に広く興味があります！ DeNA・GO株式会社・GOドライブ株式会社 共同での勉強会資料を公開中！ © DeNA Co., Ltd. 3

• https://dena.ai/community/

目次 © DeNA Co., Ltd. 1 川崎ブレイブサンダースAIチーム強化PJT 2 トラッキングデータ自動作成システム概要 3 各タスクの課題と解決 4 まとめ 4

川崎ブレイブサンダース AIチーム強化PJT © DeNA Co., Ltd. 5

川崎ブレイブサンダースAIチーム強化PJT ◯川崎ブレイブサンダース ● ● B.LEAGUE所属のプロバスケットボールクラブ グループ会社である「株式会社DeNA川崎ブレイブサンダース」がチームを運営 ◯川崎ブレイブサンダースAIチーム強化PJT ● AIの活用やより高度なデータ分析によって チームの勝利に貢献 ©KBT © DeNA Co., Ltd. 6

プロジェクト初期のデータ分析 ◯ボックススコアをベースとした分析 選手のシュートやリバウンド、アシストなどの記録を集計・分析 →細かいプレー状況や選手の動きがわからないため、分析の幅に限界がある © DeNA Co., Ltd. 7

トラッキングデータ ◯選手やボールの位置座標を記録した時系列データ ● ● ボックススコアではできなかったより詳細な分析が可能 ←次の発表で具体的な分析を紹介 Bリーグではこのデータは取得されていない →AIを使って試合映像から自動作成！ 映像協力：SoftBank © DeNA Co., Ltd. 8

トラッキングデータ自動作成システム 概要 © DeNA Co., Ltd. 9

今回のタスクの制約（難しさ） ◯使えるデータが基本的に単眼の試合映像のみ Q. カメラやセンサーを追加で置けばいいのでは？ A. 他チームやリーグ全体との比較分析は重要であり、全試合のデータが必要 他チーム会場にカメラを追加は難しいため、単眼の試合映像から作成するしかない Q. トラッキングデータの正解データはあるの？ A. Bリーグにおける正解データはもちろんないし、手動でのアノテーションも厳しい タスクを分解して、それぞれのタスクで必要に応じてアノテーションデータを作成 © DeNA Co., Ltd. 10

システム全体像 + 選手トラッキング 座標変換 試合動画 統合 トラッキングデータ ボールトラッキング 映像協力：SoftBank © DeNA Co., Ltd. 11

システム全体像 + 試合が終わったら実行、12時間後に作成完了 次の日には分析を確認できるように！ 選手トラッキング 座標変換 試合動画 統合 トラッキングデータ ボールトラッキング 映像協力：SoftBank © DeNA Co., Ltd. 12

各タスクの課題と解決 © DeNA Co., Ltd. 13

システム全体像 + 選手トラッキング 座標変換 試合動画 統合 トラッキングデータ ボールトラッキング 映像協力：SoftBank © DeNA Co., Ltd. 14

選手トラッキング（選手の位置推定） ◯初期開発でYOLO + SORTベースのトラッキングを試す ● ● ultralyticsなどのライブラリで簡単に学習・推論が可能 YOLO + BoT-SORT や YOLO + ByteTrack 映像協力：SoftBank © DeNA Co., Ltd. 15

• https://docs.ultralytics.com/modes/track#available-trackers

選手トラッキング（選手の位置推定） ◯初期開発でYOLO + SORTベースのトラッキングを試す ● ● ultralyticsなどのライブラリで簡単に学習・推論が可能 YOLO + BoT-SORT や YOLO + ByteTrack →軽量で高速だが、IDスイッチが目立つ 映像協力：SoftBank © DeNA Co., Ltd. 16

• https://docs.ultralytics.com/modes/track#available-trackers

選手トラッキング（選手の位置推定） ◯Segment Anything Model 2による精度改善 ● ● ● マスクトラッキング＋高い汎化性能でIDスイッチが起きづらい YOLO+SAM2トラッキングで高精度のトラッキングを可能に 推論処理が重いので並列化も実装し処理時間を短縮 映像協力：SoftBank © DeNA Co., Ltd. 17

選手トラッキング（選手の特定） ◯OCRによる選手特定 PaddleOCRでユニフォームの背番号を取得し選手特定 各シーン動画でTrackingIDと選手名を紐づける #7 #? →シーンによっては背番号が終始見えない 場合がある © DeNA Co., Ltd. 映像協力：SoftBank 18

• https://github.com/PADDLEPADDLE/PADDLEOCR

選手トラッキング（選手の特定） ◯選手一致判定モデルの学習 別のシーンの同じ選手を集めることが可能に 一致判定 モデル 同じ / 違う 選手A #7 #24 選手B #24 →背番号が見えない選手も、他のシーンで見えていれば特定できる！ © DeNA Co., Ltd. 映像協力：SoftBank 19

システム全体像 + 選手トラッキング 座標変換 試合動画 統合 トラッキングデータ ボールトラッキング 映像協力：SoftBank © DeNA Co., Ltd. 20

座標変換 ◯コートのラインを元に座標変換を計算 1. 2. ラインセグメンテーションモデルでコートのラインを検出 上から見たコートに合わせるように変換行列を推定 映像協力：SoftBank © DeNA Co., Ltd. 21

座標変換 ◯コートのラインを元に座標変換を計算 1. 2. ラインセグメンテーションモデルでコートのラインを検出 上から見たコートに合わせるように変換行列を推定 選手の足元（BBox下辺の中心） を選手の位置としてプロット 映像協力：SoftBank © DeNA Co., Ltd. 22

システム全体像 + 選手トラッキング 座標変換 試合動画 統合 トラッキングデータ ボールトラッキング 映像協力：SoftBank © DeNA Co., Ltd. 23

ボールトラッキング ◯初期開発ではボールトラッキング＋ボール半径からの位置推定を試す ピクセル上でのボール半径と実際のボールの大きさ の比を元にボールの位置を推定 カメラ 理論的には可能だが ● ● ピクセル上のボールが小さすぎる モーションブラー等の影響が大きすぎる などの理由で安定しない ？ 映像協力：SoftBank © DeNA Co., Ltd. 24

ボールトラッキング ◯ボールハンドラー検出（ボールハンドラーセグメンテーション）に変更 ボール検出ではなくボールを持っている人を検出 ボールハンドラーの位置＝ボールの位置 としてボールの位置を推定 ボールハンドラーがいないときは？ 前後のボールハンドラー間を線形補間 映像協力：SoftBank © DeNA Co., Ltd. 25

システム全体像 + 選手トラッキング 座標変換 試合動画 統合 トラッキングデータ ボールトラッキング 映像協力：SoftBank © DeNA Co., Ltd. 26

まとめ © DeNA Co., Ltd. 27

まとめ ◯トラッキングデータ自動作成システム 様々なCVタスクに分解することで高精度なトラッキングデータを作成 タスクを再定義することで課題を解決 基盤モデル（SAM2）もうまく組み込むことで大きく精度改善 ● ● ● このトラッキングデータを分析し、チームの勝利に貢献していくことが重要! © DeNA Co., Ltd. 映像協力：SoftBank 28

© DeNA Co., Ltd. 29