Google Media Pipeで遊ぼう (2024年9月11日 AIミーティング LT)

Google Media Pipeで遊ぼう 2024/09/11 AIミーティング LT

自己紹介 氏名：吉永崇 (Takashi Yoshinaga) 仕事：AR/VR応用に関するR&D。主に医療支援 ウェアラブル・モーションキャプチャ技術開発 趣味：ARコンテンツ作成勉強会を主催 ARを使っていろいろプロトタイピング 例)点群のストリーミングや遠隔コミュニケーション

今回のプロトタイピング：Google Media Pipe x Web Google Media Pipe  リアルタイムで画像・音声・テキスト などの処理を可能にするオープンソー スのフレームワーク  コンピュータビジョンや機械学習を 活用し、手や顔の検出、姿勢推定、 物体追跡などが可能  Android、iOS、ウェブ、デスクトップ など複数のプラットフォームに対応 公式ページはこちら→ デモもあるよ！

今回のプロトタイピング：Google Media Pipe x Web AR勉強会ではこれまでに顔や手の認識を活用したハンズオンを開催

今回のプロトタイピング：Google Media Pipe x Web AR勉強会ではこれまでに顔や手の認識を活用したハンズオンを開催 今回のLTでは手の認識(ハンドトラッキング)を使った内容をご紹介

AR勉強会で紹介したコンテンツ MediaPipeのHandsによるハンドトラッキングでライトセイバー

ハンズオンの手順 カメラ画像の表示 手の認識結果表示 ライトセイバーの表示 手の位置・角度計算 手の位置・角度に追従 親指の状態に連動

ハンズオンの手順 カメラ画像の表示 手の認識結果表示 ライトセイバーの表示 手の位置・角度計算 手の位置・角度に追従 親指の状態に連動

Media Pipeによるハンドトラッキング結果

ハンズオンの手順 カメラ画像の表示 手の認識結果表示 ライトセイバーの表示 手の位置・角度計算 手の位置・角度に追従 親指の状態に連動

ハンズオンの手順 カメラ画像の表示 手の認識結果表示 ライトセイバーの表示 手の位置・角度計算 手の位置・角度に追従 親指の状態に連動

手の位置・角度の算出に関する考え方 関節点の集まり(多数の点)から、手の位置・角度を計算したい ⎼ OpenCVで図形に近似すると扱いが楽になる。 → 今回は楕円に近似 ⎼ 楕円の中心を手の位置、傾きを手の向き、幅を画面上の手のサイズとする ⎼ 手首や親指の付け根は計算には用いないこととする OpenCV

手の関節に対応するインデックス ここは無視

ハンズオンの手順 カメラ画像の表示 手の認識結果表示 ライトセイバーの表示 手の位置・角度計算 手の位置・角度に追従 親指の状態に連動

ハンズオンの手順 カメラ画像の表示 手の認識結果表示 ライトセイバーの表示 手の位置・角度計算 手の位置・角度に追従 親指の状態に連動

親指の状態の計算 4 7 19 ⚫ Distance1: 親指(4)から人差し指(7)までの距離 ⚫ Distance2: 人差し指(7)から小指(19)までの距離 ⚫ 親指の状態(ratio)： Distance1 / Distance2 ※ratioの大小で親指の状態を評価

完成！ 体験はこちら！

Media Pipeを使うと他にも色々と遊べます 例  2D画面内の擬似3D表現  カメラ画像内の人物の 自動追尾  ARフィルター Head Tracking やってみたい！ という方はぜひ気軽に ご連絡ください！ Head Tracking + セグメンテーション