Pi-SkeleTrack

パイ-スケルトラック Pi-SkeleTrack 13岐⾩⼤学A（NARYs） 中⾕尚⽣ 古⽥雄⼤ ⽮野凌⽻ ⾼橋篤史 課題テーマ：東朋テクノロジー株式会社

東朋テクノロジーさんの課題 新⼊社員や実習⽣も分かる︕ A I ・ Io T を ⽤ い て モ ノ づ く り 現 場 の 標 準 化 を ⽬ 指 せ ︕ 新⼊社員・実習⽣ → 技術継承の場⾯で標準化を⽬指す︕ 2

東朋テクノロジーさんの課題 作業の技術継承でのワンシーン 多くの作業では道具を使うが･･･ 道具になれていない → 具体的に教えてほしい ex) どのように持つ︖, どんな姿勢で︖ 重要な作業を感覚的に理解 → 抽象的にしか教えれない 初⼼者 (当たり前に使ってるだけだな...) 熟練者 3

東朋テクノロジーさんの課題 作業の技術継承でのワンシーン 多くの作業では道具を使うが･･･ 道具になれていない → 具体的に教えてほしい AI×IoT ⼯具の使い⽅を 重要な作業を感覚的に理解 定量化 → 抽象的にしか教えれない ex) どのように持つ︖, どんな姿勢で︖ 初⼼者 (当たり前に使ってるだけだな...) 熟練者 4

課題へのアプローチ Pi-SkeleTrack（パイ-スケルトラック） AIによる 画像解析 コツを理解 使い⽅の 違いを⽐較 上⼿く道具 を使える 5

課題へのアプローチ Pi-SkeleTrack（パイ-スケルトラック） AIによる 画像解析 コツを理解 使い⽅の 違いを⽐較 上⼿く道具 を使える 6

課題へのアプローチ Pi-SkeleTrack（パイ-スケルトラック） AIによる 画像解析 コツを理解 使い⽅の 違いを⽐較 上⼿く道具 を使える 7

AIによる画像解析 道具を上⼿く使うために重要な３つの要素を解析 ⾝体の使い⽅ 道具の持ち⽅ ⼿の⾻格を推定 全⾝の⾻格を推定 道具の動かし⽅ 8 道具の位置を追従

IoTシステムで使いやすく 映像取得 IoTカメラ 解析結果 AI解析 Rasbberry Pi 9

Pi-SkeleTrack の特徴 現場に合わせた導⼊ がしやすいシステム構成 ⼩型コンピュータ 多彩な組み合わせ 設置 ⼩型 安価 表⽰ 解析10

①撮影 ②処理 ③表⽰ カメラの設置 簡単に設置可能 すぐ撮影開始 11 実際のはんだ付けの様⼦

①撮影 ②解析 ③表⽰ 手の骨格推定 AI画像処理で ⾻格推定 12

①撮影 ②解析 ③表⽰ 手の骨格推定 全⾝の⾻格推定 も可能 AI画像処理で ⾻格推定 13

①撮影 ②解析 ③表⽰ 道具先端の追跡 緑：Aさん ⻘：Bさん ⾚：Aさん 画像処理による 先端追従 位置の追跡 ⻘：Bさん 時間経過14

①撮影 ②処理 ③表⽰ ⽐較表⽰UI 15

①撮影 ②処理 はんだの様⼦ ③表⽰ ⽐較 ⾚：Aさん ⻘：Bさん Aさん ⾻格 緑：Aさん ⻘：Bさん Bさん 軌跡 16

動きの修正 修正前 ⾚：Aさん ⻘：Bさん 修正後 ⾚：Aさん ⻘：Bさん 17

Pi-SkeleTrack 誰でもツールを上⼿に使えるように︕ 18