GitHub Copilot と Foundry で作る AIロボット「ｽﾀｯｸﾁｬﾝ」

LTG469 GitHub Copilot と Foundry で作る AIロボット 「ｽﾀｯｸﾁｬﾝ」 Maki Nagase

サンフランシスコ 現地で登壇してきま した！

Maki Nagase ZEN Architects • バックエンド・ DevOps エンジニ ア GitHub Star • YouTube:@GitH ubVibeRiders • AI駆動開発勉強会 主催 Microsoft MVP Microsoft Azure/ Microsoft Foundry • Japan Azure User Group 運営 • AI Dev Day 実行 委員長 SNS X：@yuma_prog LinkedIn：makinagase

• https://www.youtube.com/@GitHubVibeRiders

A Few Notes  This is my first time presenting in English  My English is still a work in progress…  For questions, please reach out to me on X or LinkedIn! X : @yuma_prog LinkedIn: maki-nagase

• https://x.com/yuma_prog
• https://www.linkedin.com/in/maki-nagase/

アジェンダ  ｽﾀｯｸﾁｬﾝ とは？  作ったもの  GitHub Copilot：うまくいった点とまだ うまくいかない点  まとめ

ｽﾀｯｸﾁｬﾝ とは

ｽﾀｯｸﾁｬﾝ 日本のMakerコミュニティ発、 M5Stackをベースにした手のひ らサイズのオープンソースロボット https://github.com/stackchan/stack-chan

• https://github.com/stack-chan/stack-chan

ｽﾀｯｸﾁｬﾝ の特徴 AIに“体”を持たせる、いちばんハードルが低い入口 初心者にやさしい  M5Stackという、はんだ付け不要・ディスプレイや 無線・ボタンを一体化したIoT開発モジュールを 使って作る コミュニティの強さ  X に ｽﾀｯｸﾁｬﾝ のことを投稿するとｽﾀｯｸﾁｬﾝアカウン トからいいねが来る  開発で詰まった時も X で共有すれば、コミュニティ の誰かが助けてくれる

フィジカルAIとは？ Behind a screen Give it a body ｽﾀｯｸﾁｬﾝ AIはどこにでもいる時代 しかし話すにはアプリを開く 必要がある アプリを起動する必要はない Windowの中ではなく、 同じ部屋に居る“存在”になる 小さく、表情豊かで、手が届 きやすい価格 作りはじめるのにちょうどい い入り口 AIは身近になった。けれど、まだ画面の向こうにいる。

作ったもの

AI ｽﾀｯｸﾁｬﾝ  話しかけると、聞いて・答えて・表情で反応する  音声入力 → 音声出力。表情・リップシンク・首振りまで同期。 ｽﾀｯｸﾁｬﾝ プロキシ Microsoft Foundry M5Stack（デバイス） .NET / WebSocket gpt-realtime 開発環境 VS Code ＋ PlatformIO IDE for VS Code

設計を決めた3つの判断 なぜ間にプロキシを置い たのか なぜSTT＋LLM＋TTS ではなく Realtime API か なぜプロキシは .NETに したか  APIキーを端末に置かない  従来のパイプラインは会話  慣れたスタックで学習コスト ため  大きな音声デルタを確実に 分割して端末へ送るため  ログ・監視・エージェント処 理を集約するため のテンポを崩す  WebSocket で音声を双 方向にストリーミング  組み込みの VAD が自然な ターンテイキングを担う がかからない  予算と労力を組み込み側に 集中できる  本格的なAIエージェントへ 拡張しやすい

GitHub Copilotで うまくいった点・まだ難しい点

不慣れな領域での開発の進め方 Copilot CLI を使って ｽﾀｯｸﾁｬﾝ について ディープリサーチ ディープリサーチの結果をも とに、VS Code の Copilot Chat で 「ｽﾀｯｸﾁｬﾝ Skill」を作成 Copilot CLI の plan モー ドで計画し、autopilot で 実装。必要に応じて Rubber Duck でレビュー

組み込み初心者としての学び ＋ Copilot が本当に役立った場面 ！ それでも人の判断が要る場面  不慣れなスタックでの足場づくりと  「一番高いモデルを使う」が正解と モジュール分割  ドキュメントを一から読むより速く エラーを絞り込めた  反復のサイクルが劇的に短くなった  組み込み＋AIへのハードルを下げて くれた は限らない  あるモデルが詰まっても、別のモデ ルに切り替えたら解決した  ドメイン知識がないと、Copilot へ の正確な指示は難しい 要点：GitHub Copilot は作業を加速する。 けれど、舵を取るのは今も人の判断。

まとめ

持ち帰ってほしい3つのこと GitHub Copilot が扉を 開いた Realtime API で音声が実用に 人の判断は 今もループの中にある  組み込みは、もう専門家だ  低レイテンシ  それでいい。私たちの役割 けのものじゃない  コードが書ければ、ロボット も作れる時代に  入り口は、かつてないほど 短くなった  音声ファーストのフィジカル はまだ終わっていない  あなたのAIに、体を与えよ う  きっと、変わる景色に驚く はず AIは“出荷できる”段階に  簡単にロボットと話すため の、ちょうどいい部品 あなたのAIに、体を与えてみよう。きっと、見える景色が変わる。

組み立て済み ｽﾀｯｸﾁｬﾝも！ M5Stack版ｽﾀｯｸﾁｬﾝが発売中 3Dプリンターがない人はこちらの購 入もおすすめ ハック可能なのでこのボディだけを 使って独自アプリを動かすことができ る！ ※ まだ生産数が少なく、発売後すぐ に売り切れる状況が続いている ※ステマではありません、個人的な推しです https://shop.m5stack.com/products/st ackchan-kawaii-co-created-opensource-ai-desktop-robot

• https://shop.m5stack.com/products/stackchan-kawaii-co-created-open-source-ai-desktop-robot

7/24(金) AI Dev Day Microsoft 本社から2名が来日します！

7/24(金) AI Dev Day Microsoft 本社から2名が来日します！

7/24(金) AI Dev Day スポンサーも募集中！ カンファレンスのみ枠は例年あふれるのでお早めに お申し込み： https://azureai.connpass.com/event/393431/ イベントページ：https://aidevday.com/

• https://azureai.connpass.com/event/393431/
• https://aidevday.com/

Thank you！ GitHub Copilot と ｽﾀｯｸﾁｬﾝ で、AIを楽しもう！