首かけデバイス"THINKLET"とその応用
1.2K Views
December 06, 24
スライド概要
浜松ITコミュニティ忘年会2024 - connpass
https://hamamatsu-it.connpass.com/event/335532/
関連スライド
各ページのテキスト
首かけデバイス"THINKLET" とその応用 [email protected] 2024.12.7 @浜松ITコミュニティ忘年会2024 LT&THINKLET体験会
kinneko ([email protected]) 日本Androidの会 金沢支部 今日は、日本Androidの会 浜松支部の 「THINKLET体験会＆アイデアソン」 8/31 が 台風でオンラインになったので、リベンジに呼んでもらった
kinneko ([email protected]) 営業日は毎日技術ブログ的なの書いてます (2019-) https://kinneko.fanbox.cc/ 薄い本書いたり、Maker系イベントに出展したりしています kinnekoの薄い本屋 - BOOTH https://kinneko.booth.pm/ 縛りの多い連載引き受けて苦労してます... 連載：「おしゃべりな機械」たちの世界へようこそ！ https://ascii.jp/serialarticles/3001129/
kinneko ([email protected]) 本業は、東京湯島にあるフェアリー・デバイセズで デバイスのクラウドバックエンドを開発しています 金沢からフルリモート勤務で仕事しています (2024.4-) 「THINKLET誰も知らない問題」を改善するために 認知向上と開発者を増やすためコミュニティ活動もしています
って、どんな会社？ ・東大発研究開発ベンチャーとして、音声のAI処理などで10年 ・2018年、何を思ったか突然ハードウエアベンチャーを開始 ・当時流行りのスマート・スピーカーなどを製品化 ・少しピボットしてコネクテッド・ワーカー・ソリューション開始 ・ダイキンを中心にリモートで作業を支援するシステムを開発 ・2024年、「THINKLET」を一般に向けても販売開始
当社の歩み Connected Worker Solution®の発表 現場DXを加速するウェアラブルデバイス THINKLET®を開発 2022 資金調達・社会実装の拡大 資金調達を行いベンチャー企業化 搭載したハードウェアを自社開発 音声AIが駅案内ロボット、 デジタルサイネージ等に導入 2020 技術 Google テクノロジーパートナー に認定 2018 AIサービスリリース 音声クラウドサービスmimi® 開始 海外展開 ダイキンなどにTHINKLET®を 活用した現場DXソリューションを提供開始 東アジアを中心に14か国で展開 簡易版Connected Worker Solution® LINKLET®を発表 テクノロジーベンチャーとして4年 2016 研究開発 弦楽器の自動演奏装置の開発で IPA未踏事業に採択 2012 2009 R&D受託企業として11年 2021 社会実装 mimi® powered by NICTを発表 10言語に多言語対応 2019 研究開発 総務省/NICTの グローバルコミュニケーション計画 に採択 2017 研究開発 音声処理関連技術の 研究開発を開始 企業・大学のR&Dを受託 2014 創業 人とAIが互いに寄り添った 世界を目指して 東大発ベンチャーとして設立 2010 2007 音声AIをベースに研究開発業務を10年超。2018年からスタートアップへ 自社ソリューション「Connected Worker Solution®」を提供開始 資金調達 THINKLET®の量産に向けて シリーズB資金調達 研究開発 総務省/NICTの グローバルコミュニケーション計画2025(1) に中核メンバーとして参画 世界的評価の獲得 CES2022に出展し Innovation Awardを世界最多3部門で受賞 Nikkei Next ユニコーン2021/2022に選出 米TIME誌 The Best Inventions2022選定 オープンイノベーション大賞 総務大臣賞受賞 and more… Copyright © 2024 Fairy Devices Inc. All rights reserved. (1)総務省のグローバルコミュニケーション計画 2025に基づく、多言語翻訳技術の高度化に関する研究開発 6
Our Invention 現場の声に応えた新規デバイスの紹介 負担なく現場導入が可能なワーカー支援デバイスを開発。装着者の見ているもの、聴いているものをリアルタイムにデータ化し、 今までにない情報活用を可能とする 人とAIをつなぐ、機械との協働を実現する THINKLET 高性能マイク（５個） 4G LTE／Wi-Fi 通信機能 各種センサー／GPS エッジAI搭載 超広角カメラ 人が得意なことは人に、AIが得意なことはAIに任せる役目を担うウェアラブルデバイス Copyright © 2024 Fairy Devices Inc. All rights reserved. 3
Connected Worker Solutionによる支援イメージ A 高難易度の課題のみ リアルタイム支援 B • AIのソリューションが 一時対応 • 必要に応じて熟練工 にエスカレーション 高度な現場作業に 非熟練者が対応可能 デジタル化による現場 スキルの技能伝承 C 作業報告書の自動作成 作業の自動判定 AI支援 /対応のレコメンド 危険アラート 作業手順指示 /完了確認 多言語翻訳 Copyright © 2024 Fairy Devices Inc. All rights reserved. スループット強化 4
保守・メンテナンスに活用 導入に際して現地側の教育を必要とせず、早期に遠隔支援体制を確立可能。 遠隔支援体制によって設備の維持管理を低コストに実現できる。 専門家による作業支援 ✓ 遠隔・諸島部などのアクセスが 難しい地域でも、非常時対応 や定期メンテナンスでの活用 専門的サポート 点検記録の遠隔確認 点検レポート Copyright © 2024 Fairy Devices Inc. All rights reserved. ✓ 点検などの内容を動画＋高解 像度画像で記録し、レポート 化することで、遠隔での点検業 務が実現 5
"THINKLET"とは？ 首にかけるタイプのAndroid端末 (冷えませんw) 5chマイク、広角カメラ搭載 (カメラ視野の縦横２モデルあり) 装着者の視点を記録・送信できる (LTE/WiFi対応) アイカメラと違ってフラフラしない安定感のある撮影 Android8ベース GUIがない変なやつ AOSPをベースにしたFairyOS搭載(クワルコムSoC) カメラ風のボックス型 cube もあるよ！ クラウドAPIでリモートから遠隔操作ができます
最近の露出 令和6年東京都ベンチャー技術大賞 奨励賞受賞 https://venture-award.metro.tokyo.lg.jp/award2024/#j22p_06 日経トレンディ”2025年ヒット予測" ベスト1 『肩掛けプライベートAI』 でデモ端末として使用 おかげで、テレビの情報番組にいろいろ出してもらえた 2024-11-01 テレビ東京 "WBS" 2024-11-04 日本テレビ "ズームイン！！サタデー" 2024-11-13 フジテレビ "めざましテレビ" 2024-11-14 日本テレビ DayDay.
価格など 2024年１月から開発機販売を開始 (ちょっとお高い) 大学や研究機関向けには半額の割引販売もやっている 社員の権限で短期貸出できるので希望があれば是非どうぞ ソース公開でプロジェクト出していただけるのであれば、 １台進呈なども検討しています
何ができるの？ Androidでできることは一通り (ただしGUIがない) Flutterで普通にアプリ開発できます もちろんAndroid SDKでネイティブアプリもOK 5chマイク搭載 有線イヤホン接続可能 開発機はadb接続できる CTSは受けていないのでGoogleAPIは使えない ハードウエアボタンが３つ 機能割り当て可能 ゼスチャセンサがあるが、イマイチ使えない？
何ができるの？ GUIがないのを補う scrcpyコマンドで 開発PCに画面を表示
何ができるの？ とはいえ、GUIがないと... 保守担当者が、出先でPCは持ってないよ... SIM交換したとき、APN設定どうしたら？ トラブル時にすぐに状況を確認したい 営業がデモするとき説明に困る
何ができるの？ GUIがないのを補う THINKLET Viewer作りました ・Raspi4 ・5インチLCD ・電源とUSB接続で自動表示 ・ガチャ切りOK（ROM化済） ・誰でも操作可能 ・低コストで実現
何ができるの？ GUIがないのを補う 出先でPC出すのもねぇ... THINKLET Viewer作りました
活用事例 遠隔作業支援 遠隔保守などのリモート支援業務 ダイキン(業務用エアコン) ヤンマー(発電機)など 世界中で使われている 南極昭和基地にも一台ある 膨大に蓄積された動画のAI解析
活用事例 遠隔作業支援 https://www.daikin.co.jp/tic/topics/feature/2024/20240611
活用事例 遠隔作業支援 https://www.yanmar.com/jp/about/ymedia/article/yesdx.html
活用事例 作業記録・ライフログの記録 ローカル録画、遠隔録画 録画内容の音声書き下し 書き下しをマルチモーダルLLMが要約 作業のドキュメント化やフローチャートの作成 作業内容のAIによる分析・エラーの警告 カードゲームの経過記録・中継・AIによる自動解説
活用事例 作業記録・ライフログの記録 ローカル録画、遠隔録画 録画内容の音声書き下し 書き下しをマルチモーダルLLMが要約 作業のドキュメント化やフローチャートの作成 作業内容のAIによる分析・エラーの警告 カードゲームの経過記録・中継・AIによる自動解説 https://www.youtube.com/watch?v=PQHkuhcYYM4
活用事例 作業記録・ライフログの記録 ローカル録画、遠隔録画 録画内容の音声書き下し 書き下しをマルチモーダルLLMが要約 作業のドキュメント化やフローチャートの作成 作業内容のAIによる分析・エラーの警告 カードゲームの経過記録・中継・AIによる自動解説 https://www.youtube.com/watch?v=kwgwImUCJWY
活用事例 作業記録・ライフログの記録 ローカル録画、遠隔録画 録画内容の音声書き下し 書き下しをマルチモーダルLLMが要約 作業のドキュメント化やフローチャートの作成 作業内容のAIによる分析・エラーの警告 カードゲームの経過記録・中継・AIによる自動解説 https://www.youtube.com/watch?v=udZVTDJLKLM
活用事例 畠山歓先生 東京科学大学 ・THINKLETで実験動画を記録 ・記録画像をマルチモーダル LLMで文書化 ・内容をLLMで要約 ・要約からLLMで操作の フローチャートを自動生成 https://x.com/kanhatakeyama/status/1862782347881725973
活用事例 ファームウエア違いのLINKLET ・すぐに導入できるターンキー・ソリューション ・デバイスをクラウドからの操作で ZoomやTeamsのミーティングに参加 ・クラウド経由でのデバイス操作 ・SIM込みのレンタルや月額契約
THINKLETを使った開発 ⚠ 開発者モードにしたら解除しないで！ adbはデフォルトで動作しています 開発者モードにはできますが、オフにするとadbも止まります すると、GUIないので詰んでしまいます USBデバッグをオフにしても同じことになります 自力で回復はできないので、 残念ながら返送してもらう必要があります
THINKLETを使った開発 ⚠ 開発者モードにしたら解除しないで！ AdbRecoveryで気持ち予防できます THINKLET開発者向けのAdbを起動時に自動有効化 確実にAdb有効化を保証するものではありません． また，開発時のみご利用ください． https://github.com/FairyDevicesRD/thinklet.app.adbRecovery https://github.com/FairyDevicesRD/thinklet.app.adbRecovery/ releases
THINKLET 製品ページ https://mimi.fairydevices.jp/technology/device/thinklet/
THINKLET 取扱説明書 https://static-connected-worker.thinklet.fd.ai/support/ja/index.html
THINKLET 開発者ポータル https://fairydevicesrd.github.io/thinklet.app.developer/
THINKLET を始めましょう https://fairydevicesrd.github.io/thinklet.app.developer/docs/intro
THINKLET SDK (Github) https://github.com/FairyDevicesRD/thinklet.app.sdk
CWS開発者ガイド https://reference.thinklet.fd.ai/
Raspberry Piで作るTHINKLET Viewer https://zenn.dev/fairydevices/articles/c730e7776139bb