Cat Tracking with AI (20230913 AIMTG_LT)

Cat Tracking with AI 2023/09/13 AIミーティング LT

⾃⼰紹介 ⽒名︓吉永崇 (Takashi Yoshinaga) 仕事︓AR/VR応⽤に関するR&D。主に医療⽀援 ウェアラブル・モーションキャプチャ技術開発 趣味︓ARコンテンツ作成勉強会を主催 ARを使っていろいろプロトタイピング 例)点群のストリーミングや遠隔コミュニケーション

今回のプロトタイピングのテーマ ARで表⽰ [実現したいこと] p 猫がいる場所や歩いたあとにARでエフェクトをかけたい ←今回の主題 p 猫の姿(点群など)とエフェクトを遠隔地の⼈に配信して共有したい

システム概要 RGBDカメラ 置 位 猫の ARで表⽰ [使⽤ツール] p ARデバイス(HoloLens 2)︓猫の歩いた3D位置にARのエフェクトを表⽰ p RGBDカメラ(Azure Kinect)︓カラー画像と点群情報で猫の位置を計測 p 通信(Web Socket)︓Kinectで取得した猫の座標をHoloLensに配信 p 猫⽤グッズ(レーザーポインタ、ちゅーる) ︓猫様に歩き回ってもらうため

システム概要 RGBDカメラ 置 位 猫の ARで表⽰ [使⽤ツール] p ARデバイス(HoloLens 2)︓猫の歩いた3D位置にARのエフェクトを表⽰ p RGBDカメラ(Azure Kinect)︓カラー画像と点群情報で猫の位置を計測 p 通信(Web Socket)︓Kinectで取得した猫の座標をHoloLensに配信 p 猫⽤グッズ(レーザーポインタ、ちゅーる) ︓猫様に歩き回ってもらうため

猫の認識 YOLO v4 画像内のオブジェクトを検出するリアルタイム・コンピュータビジョン・AI技術の⼀つ。 ⼀度の処理で全画像を分析し、オブジェクトのバウンディングボックスとクラスを予測。 2Dの位置は 取得可能 3Dの位置は︖

3次元位置の取得 猫の点群取得 事前に背景の点群を取得し、YOLOで検出された矩形内で点群の⽐較して猫の点群を抽出。 ※YOLO v7以降ならセグメンテーションも使⽤できるので上記は不要︖今回はまず動して体験すること重視でv4を使⽤。 検出した点に ⾊付け 猫の位置に球 猫の点群のみを取得

結果: HoloLens 2でのAR表⽰ https://twitter.com/Taka_Yoshinaga/status/1698144289979818006

• https://twitter.com/Taka_Yoshinaga/status/1698144289979818006

今後 p YOLO v7以降のセグメンテーション機能に興味があるのでとりあえず試す p AppleのAnimal Body Pose Detectionについても検証 → めざせシステムの簡素化 p エフェクトをもっとそれっぽくする p 遠隔地への配信の仕組みと統合 p 他、過去に試作したコンテンツとも 連携させたい