えだまめ早食いMRアプリ開発記～世界えだまめ早食い選手権をXRとAIでハックした話～
>100 Views
July 21, 26
スライド概要
Niigata5分Tech #26 LT 発表資料
https://niigata-5min-tech.connpass.com/event/400261/
関連スライド
各ページのテキスト
えだまめ早食い MRアプリ開発記 ～世界えだまめ早食い選手権を XRとAIでハックした話～ fubuky35
私の学び 学ぶ ● ● ● ● ● 作る 見せる 見せる（コンテスト応募、出展）→作る→学ぶ の順で、逆算して計画することが多い 見せるには基本的に期限がある 見せた結果、自分の立ち位置がわかり次の学びにつながる 見せるがあると「今何を求められているか」と「自分は今何ができるか」「期間内にどれだけギャップを埋められるか」＝ 学び計画を自然に考える 別に狙ってやってるわけではなく面白そうなことに飛びついていったら自然とこうなった 今日はその学びの一つ「えだまめ早食いMRアプリ開発」を紹介します！
自己紹介 fubuky35 新潟を愛するバーチャルリアリティ開発者。自作の『VR枝豆早食 いアプリ』で猛特訓！ そして、今日のために秘密兵器、3粒入りの枝豆を教えてくれる ゴーグルを開発しました！ 最新テクノロジーとAIの力で『世界えだまめ早食い選手権』 をハッ クする！
「世界えだまめ早食い選手権」とは？ ・【イベント概要】毎年夏、アオーレ長岡で開催される枝豆早食いイベント（2026年 で9回目） ・【ルール】制限時間100秒間で、どれだけ「たくさん」「綺麗に」枝豆を食べられる かを競う ・【桁外れのスケール】 - 来場者数：約1万人 - 出場者数：約400人 - 枝豆消費量：競技用200kg（イベント全体で約600kg） https://edamame.world/
MRアプリを作った理由 ・【昨年】『えだまめ早食い選手権VR』を制作 ・【今年】「リアルな本番イベントにQuestを被って出場しよう！」と決意 ・【葛藤】Quest3を被って出場した際、「被って何が見えてるの？」と聞かれて... ➔ 「特に意味はない、ただの飾りです」と答えるのは開発者としてにダサい！ ・【決断】本当に早食いを攻略できる「XR ✕ AI」アプリを作る！
https://youtu.be/Hle1ZNc01jI 作ったもの 3粒枝豆をリアルタイム 検出するQuest3 MRアプ リ 赤枠: 3粒 緑枠：2粒 3粒枝豆を狙う戦略！
挑んだタスク 【物体検出】山盛りの枝豆から「3粒入りの枝豆」を見つける その他要件 ・【リアルタイム性】Quest3のカメラから遅延なく画像を取得してリアルタイム推論 ・【エッジ推論速度】スタンドアローン で「約30fps」を目指す ・【MRオーバーレイ】推論結果を遅滞なく現実世界にMR表示 ・【動作要件】PC不要、Quest 3単体で動作（大会中にPCは背負えない！）
開発環境、使用ツールなど ・【Game Engine】Unity 6 (6000.0.38f1) ・【Inference】Unity Sentis v2.2.1 (Unity内製推論エンジン) ・【MR SDK】Meta SDK v85.0.0 ・【AI Model】YOLOv9t (最軽量・高速モデルのtinyを使用) ・【Hardware】Meta Quest 3 (カラーパススルー) ・【Annotation Tool】AnyLabeling 0.4.36 ・【AI Agent】Antigravity IDE (Gemini 3.1 Pro(High)を主に使用) ・【Base】Meta Quest Unity-PassthroughCameraApiSamples (MultiObjectDetection) https://github.com/oculus-samples/Unity-PassthroughCameraApiSamples
開発ロードマップ ・【Step 1：フィジビリティ確認】Quest 3 ✕ YOLOサンプルの検証、環境構築、実機ビルド ・【Step 2：モデル組み込み検証】仮ファインチューニングモデルをサンプルに組み込めるかの確認 ・【Step 3：データセット作成・学習】新潟枝豆を撮影しアノテーションを付加、データセットを作成。YOLOv9tをファ インチューニング！ ・【Step 4：アプリ組み込み、UI調整】モデルをMRアプリに組み込み、MRアプリUI調整 ⇒Step3に最も時間を費やした！
えだまめ専用AIを育てるためのデータ戦略 ・【Quest 3撮影（メイン）】Quest 3のカメラAPIを使って本番さながらの距離感・角度で枝豆を撮影 ・【スマホ撮影（サブ）】くっきりと高解像度で、画面いっぱいに枝豆を写して特徴を学習させる ・【ネガティブサンプルの追加（超重要）】アノテーションなしの背景画像をあえて「10%」ブレンド ➔ これがないと、AIがあらゆる物体を「枝豆」と判定するようになってしまう！ ・【バリエーション】単体、2〜3個重なり、4〜8個、10個以上の山盛りをバランスよくブレンド
1kgの新潟産枝豆が繋いだ、開発と家族の絆 ・【泥臭い作業】新潟産枝豆を300枚以上撮影し、1枚1枚手動アノテーション ・【枝豆ロバスト性の確保】なるべく枝豆のバリエーションを確保するため枝付き枝 豆を優先的に使用（これが『弥彦むすめ』偏重の原因に、、、） ・【最終消費量】データセット作成、MR動作確認などで最終的に使用した枝豆は 「1kg」 ・【妻への感謝】毎日ひたすら検証用・デバッグ用の枝豆を茹でてくれた妻に感謝
AIモデルを襲う「枝豆バイアス」リスク ・【開発フェーズ（6月上旬〜中旬）】早生のブランド品種 『弥彦むすめ』でトレーニング（枝付きも販売も特徴） ・【大会本番（7月上旬）】時期的に『おつな姫』か『ゆあが り娘』が提供されるはず ・【品種による見た目の違い】莢の形、毛の色・濃さなど 結構違う。。。 ⇒ 本番は本当に大丈夫か！？ https://howtoniigata.jp/spot/must-buy/21712/
https://www.youtube.com/live/hgoeyIYID3k?si=P-Hy95h7SzSHdguN 無事に動作！ 結果！ https://youtube.com/shorts/S4xcJ-AqQb8
MRアプリは完璧、結果は！？ ・【推論結果】本番の枝豆品種は「陽恵（ようけい）」だったが、MRアプリは 問題なく動作！ ・【競技結果】しかし、結果は予選敗退……！ ・【敗因】私の「えだまめ早食いフィジカル」が圧倒的に足りなかった 😭 ・【受賞】MRアプリの発想が評価されたのか、『世界えだまめ早食い盛り上 げ隊賞』を受賞！ https://x.com/edamame_pr/status/207735 2547774525499?s=20
ハックはできなかった。でも、新潟枝豆は最高 ✨ ・世界えだまめ早食い選手権をテクノロジーでハックすることはできませんでした！ ・でも、新潟の枝豆は間違いなく世界一美味しかったです！ ・大会関係者の皆様、応援してくれた皆様、そして毎日応援してくれた家族に心から感謝！ ・いつか優勝するぞ！！