ドローンとAIでいちごの成長を見える化_MFK2024プレゼンテーション資料
721 Views
April 30, 24
スライド概要
ドローンとAIでいちごの成長を見える化する蜂の目プロジェクトの紹介資料です。
MakerFaireKyoto2024のプレゼンテーション（2024年4月28日 12:00-12:20）で使用した資料の公開版です。
関連スライド
各ページのテキスト
ドローンとAIで いちごの成長を見える化 2024/4/28 Maker Faire Kyoto 2024 プレゼンテーション あいらぼ＊
目次 1. 2. 3. 4. 5. 6. 7. 8. 9. あいらぼ紹介 蜂の目プロジェクトとは 背景 課題設定と取り組み デモ動画 実現手段の紹介 実証実験の取り組み 横展開 おわりに 2
1. 私たち“あいらぼ＊”について メーカーで働くエンジニアが休日に集まり 大好きな「ものづくり」を通して 「世の中を変える新しい体験を生み出す」 ことを目的に活動しています 大阪を拠点に活動中！ 2024年度メンバー：13名 Instagram X (Twitter) あいらぼ＊HP No. 開始 1 2015年4月 取り組みテーマ ゼロから作る自作ロボで鬼ごっこ 2 2015年7月 自作ロボでリアルバルーンファイト 3vs3 3 2015年9月 らくちんパーソナル電動キャスター 4 2016年8月 革新的メモデバイス 5 2017年2月 革新的爪デバイス 6 2018年3月 リモコンカー、忍者サバゲ― 7 2018年3月 自作ROSロボ 8 2019年1月 無線給電デバイス開発 9 2019年5月 新感覚忍者シューティングXSA 10 2019年1月 爪型認識デバイス 11 2019年12月 AI顔認証ドア 12 2020年8月 VR筋トレワールド、VRあいらぼ＊博物館 13 2020年8月 新感覚忍者シューティングXSA Ver.2 14 2020年11月 自走するトミカ 15 2021年5月 ドアノブモーション開錠ドア 16 2021年10月 身体拡張に関する開発 17 2021年10月 家のリモコンで走る！リモコンカーVer.2 18 2022年1月 XSAでイベントしよう 19 2022年6月 自作基板をつくろう 20 2022年10月 XSAアプリをクラウド化して手軽に遊べる化 21 2022年10月 自由研究する 22 2022年10月 まごふぉん 23 2023年7月 蜂の目プロジェクト 24 2024年1月 EveryGame 本日展示 SlipperX XSA プレゼンの対象 ドローン×AI 3
2. 蜂の目プロジェクトとは farm studio × あいらぼ＊が取組む農業支援＆お客様満足度向上プロジェクト マルハナバチのようにドローンが飛びます なんのため？ イチゴの成長をデジタル化 AI画像認識 今日はコチラを詳しくご紹介 イチゴ狩り体験をもっと楽しく 記念写真を自動撮影 4
3. 背景：FactとFind いちご農家さんにヒアリングし、定点観測のお困りごとに着目 事実（Fact） 気づき（Find） 71件の事実（Fact）と気づき（Find）を抽出 定点観測のお困りごとに着目 5
4. 課題設定と取り組み 課題設定 Point of view（課題） 定点観察を行う利点は多いが長期間にわたる手動測定やデータのまとめ等、時間と手間がかかるため継続が難しい (毎年の目的→予想→実行→検証を繰り返す事によってよりよい環境を作ることが、収穫量UPにつながる) 取り組み How might we（アプローチ） どうすれば、簡易かつ定期的に定点観測を行えるか 手段 安価なドローンを用いて簡易かつ定期的な観測を実現する 高さ：△△ cm 高さ：○○cm 花個数：○個 成熟：△個 未熟：□個 ドローンの飛行イメージ ドローンのメリット： ・走行経路を自由に設定、変更できる ・ハウス環境に定点カメラやレール等の大規模な工事が不要 AI画像認識で数値化 6
5. デモ動画 https://youtu.be/DwBH6UcYtHo 7
6. 実現手段の紹介：採用したドローン スペック 特徴 • • • • • SDK (Software Development Toolkit) を公開 ミッションパッドを用いて自己位置の補正が可能 100g以下なので航空法の登録制度対象外 軽いので万一落下しても危険性が低い 本体価格は1.7万円 （100g以下の市場では一人勝ちの機体） Tello Edu（RyzeTech社） • • • • • • • • • • • • カメラ／画素数：500万画素・720p動画 最大飛行距離：100m 最大速度：8m／s 最大飛行時間：13分 最大飛行高度：30m 充電時間：90分 センサ／IMU：3軸加速度、3軸ジャイロ 気圧センサ 垂直距離センサ 赤外線センサ ビジョンシステム（可視センサ） 通信方法：2.4GHz 802.11n Wi-Fi 対応OS／iOS10以上、Android4.4以上 電源：充電式バッテリー（脱着式）1100mAh 3.8V 大きさ：98×92.5×41mm 重量：80g ミッションパッドで自己位置補正が可能 （GPSは非搭載） Pythonから制御可能な100g未満のドローンを選定 Udemy講座： 現役シリコンバレーエンジニアが教える未経験者のためのPythonドローンプログラミング (udemy.com) APIの例（Application Programming Interface） Tello SDK 2.0 User Guide.pdf (ryzerobotics.com) 8
7. 実証実験の取り組み：概要 データ収集を目的としてドローンの自動運行、CO2濃度測定の実証実験を実施 目的 レイアウト ・今シーズンの データの収集 ・ドローンの飛行テスト ・サービス運用時の課題抽出 実施内容 【期間】 2023年10月～2024年1月 【ドローン】 週2回のスケジュール自動飛行・撮影 【センサーモジュール】 ハウス内4箇所の温度、湿度、 CO2濃度を取得 【固定カメラ】 ハウス内1箇所の苗を定点撮影 https://youtube.com/shorts/n0Y2jruINKM 9
7. 実証実験の取り組み：ハードウェア構成と機能紹介 安価な ハードウェア いつでもどこでも見れる LINEで通知 安価なハードウェア、クラウド連携、LINE通知が強み 10
7. 実証実験の取り組み：ドローン充電器 課題 ドローンを毎日充電するのが手間 対策 自動充電器を自作 スケジュールで決まった時間に自動飛行、自動充電 特徴その②： WebAPIで簡単制御 特徴その①： RCサーボ2軸のシンプルな機構 https://youtube.com/shorts/hyMHSOp_BFY https://youtube.com/shorts/O7KXj6DnHRI GitHubにソースコード公開してます https://github.com/mi83ki/tello-charger.git ドローン充電器を自作し、24時間連続稼働可能に 11
7. 実証実験の取り組み：固定センサ無線化 1/2 ハウス内は光合成によってCO2濃度が不足し、いちごの成長が妨げられる恐れがある →CO2濃度を計測して確認する 第二世代 ソーラー充電式 第一世代 PoE給電(有線) 構成 充電効率化IC マイコン HW-736 ソーラー パネル 課題 ・有線接続の為、設置範囲に制限が付く ・取り回しが悪い（配線が邪魔） ニッケル水素 充電池 単3×3本 M5Atom 改善結果 ・日光、Wifiの電波が届く範囲であれば どこにでも設置可能 シンプルな回路で簡単設置できるソーラーCO2センサユニットを自作 12
7. 実証実験の取り組み：固定センサ無線化 2/2 ソーラー充電による電池の電圧推移（1週間のデータ） 電圧[V] 緑：ソーラーパネルからの給電電圧 青：バッテリー電圧(充電式単3電池×3本) 雨の日も問題なく 動作できることを確認 動作電圧を高い水準で維持 M5Atomの動作電圧の下限値 1日 時間 雨の日も問題なく動作電圧を維持でき、実用性があることを確認 13
7. 実証実験の取り組み：結果 CO2濃度測定結果 センサー① センサー② センサー③ A センサー④ CO2濃度 [ppm] B 400ppm 時刻 時刻 センサーの配置 時刻 時刻 A. 苗に最も近かったセンサー①のみ、光合成が盛 んな昼間のCO2濃度が低い →センサーは苗の直ぐ側に設置する必要がある B. センサー③の場所はCO2濃度が不足気味 →ハウス内の空気の循環を良くすることで解決 できないか（CO2発生器の燃費削減） 14
7. 実証実験の取り組み：結果 2023年10月～2024年1月データ収集の目的達成 データ取得集計表 〇：データ収集の目的達成 〇：ハウス内CO2濃度を初めて計測できた 〇：クラウドにデータを蓄積しグラフ化する1パスを通せた 〇：SIMカードによるLINE通知、遠隔サポートの経験をつめた ×：ドローンの自動飛行は課題あり ドローン自動撮影成功率とNG要因 △：ドローンによる完全自動撮影の成功率は約6割 →WiFi通信課題、ミッションパッド見失い課題 ドローンによる自動飛行・撮影は 実用化に向けた課題が明確化 15
7. 実証実験の取り組み：ドローン飛行の安定性改善 現状はミッションパッドを認識して飛行 【課題】①日光等の影響でパッド認識率が低下 ②パッド間飛行の位置精度が低く苗に接触する場合がある 【対策案】ライントレースを用いて、飛行安定化をトライする ①OpenCVのハフ変換を用いて直線を取得 ②取得できた直線からラインを推定 1.ドローン取得画像 課題：ミッションパッドの認識率が低い 2.エッジ検出 https://youtube.com/shorts/DJlyuI4iCAg 3.ハフ変換結果 4.ライン抽出結果 ライン検出例 ドローンの下向きカメラ映像からラインを検出し、 高精度に飛行する開発を推進中 16
8. 横展開 多様な農業分野に適用可能なソフトウェアモデル いちご農家 ぶどう農家 米・野菜農家 花農家 林業 スマホ UI システム スマホ スマホ スマホ スマホ WEBUI WEBUI_B WEBUI_C WEBUI_D データ,重み データ,重み_B データ,重み_C データ,重み_D WEBサーバー WEBサーバー AI画像認識部 AI画像認識部 画像合成部 画像合成部 ドローン制御部 ドローン制御部 ・・・ WEBUI_E カスタム化 データ,重み_E 共通PF ドローンIF ドローンIF_B ドローンIF ・・・ ドローンIF_C カスタム化 ハード 17 Tello Edu DJI Mini 3 DJI Mini 3 Tello Edu DJI Mavic3
9. おわりに 本日ドローン自動飛行のデモ実施中。ぜひブースへお越しください！ ドローン自動飛行デモ あいらぼ＊(E-02-03) 18
END 19