組み込み初心者がGitHub Copilotでどこまでできるのか AI ロボットをｽﾀｯｸﾁｬﾝで実装した話

組み込み初心者がGitHub Copilotでどこま でできるのか AI ロボットをｽﾀｯｸﾁｬﾝで実装した話 AgentCon - Tokyo 2026/02/28 Maki Nagase

Maki Nagase @yuma_prog • My Info • 株式会社ゼンアーキテクツ所属 • GitHub Star • Microsoft MVP for Azure, Microsoft Foundry • 運営・主催コミュニティ • AI駆動開発勉強会, JAZUG(Japan Azure User Group), Azure わいがや会, GitHub Vibe Riders, Hack Everything., GitHub dockyard, AOAI Dev Day • 好きな技術 • Azure PaaS, Azure AI, C#, Terraform, GitHub Copilot • 趣味 • 技術コミュニティ,アニメ,キャンプ,しゃぼん玉,法螺貝, サバゲ,などなど

GitHub Vibe Riders – YouTube GitHub Copilotの更新情報キャッチアッ プや検証をゆるーくライブ配信するチャ ンネル 来週はCopilot CLIを取り上げる予定 https://azure-waigaya.connpass.com/event/386012/

• https://www.youtube.com/@GitHubVibeRiders
• https://azure-waigaya.connpass.com/event/386012/

今日のお話 • ｽﾀｯｸﾁｬﾝはいいぞ • 組み込みでどこまでGitHub Copilotに任せられるか

組み込み初心者でもロボットしたい！

一度トライしたものの やってみたこと Raspberry Pi ・ IoT は触れたことあり でも継続的な開発にはつながらなかった 難しかった理由 ハンダ付けや配線の壁 何が正解か分からない 必要な前提知識が多く、専門性が高い 4

そこで出会ったのがｽﾀｯｸﾁｬﾝ 最初に感じたこと • • • • かわいい 動くし顔がある コミュニティが強い 初心者ウェルカムの空気がある 続けやすそうだと思えた理由 • • • • • 見た目への愛着がモチベになる 完成イメージが早く見える ラズパイより必要な知識が少ない 「まず動かす」までの距離が短い 本来の用途と違うものに顔と体つけて 愛でてるの日本人すぎて好き 4

ｽﾀｯｸﾁｬﾝとは何か M5Stack とコミュニティによって育てられている、手のひらサイズのオープンソースロボット 特徴 • M5Stackという、はんだ付け不要・ディ スプレイや無線・ボタンを一体化した IoT開発モジュールを使って作る • 初心者でも入りやすい • M5Stackでなくても、顔がついてい ればｽﾀｯｸﾁｬﾝ判定をしていいっぽい • 表情表示・音声・サーボが扱える • オープンソースで拡張しやすい https://github.com/stack-chan コミュニティの強さ • Xで「ｽﾀｯｸﾁｬﾝ」と入れたポストをすると つぶやくと「ｽﾀｯｸﾁｬﾝ」からいいねがく る • 詰まっているとコミュニティの神たちが 助けてくれる 4

• https://github.com/stack-chan

M5Stack がなぜ入りやすいのか 初心者にやさしい 部品集めから始めなくてよい マイクとスピーカーが最初からついている VS CodeのPlatformIO拡張で始められる コミュニティでコードが公開 されている とりあえず人が書いたものを焼けば動く 自分で書く時も参考にできる 4

なぜ今、ｽﾀｯｸﾁｬﾝで AI Agent なのか AI Agent 自体は一気に身近になった ただ、体験の入口はまだ PC 画面中心 ロボットが前にいると、AI を「その場にいる存 在」として感じやすい AI Agent の本体は慣れた実行環境 で開発 直接話しかけられる、何かを起動しなくてよい、 体験として楽しい フロントエンドをロボットにする 人がAIに興味を持つきっかけになる 学びの対象としても、検証環境としても優秀 4

作ったもの できること 音声で話しかける AI が返答する 表情が変わる 口パクする 首を振る（未完成） ユーザー 音声で話す ｽﾀｯｸﾁｬﾝ 録音 表情 サーボ 音声 Proxy .NET / WS AI Realtime API 音声 音声で話しかけると裏の AI とリアルタイムにつながる「 AI Agent のインターフェイス」としてのｽﾀｯｸﾁｬﾝ

なぜプロキシを挟んだのか 1. API キーをデバイス に持たせたくない 認証情報を物理デバイス 側に固定しない 構成変更もしやすい 2. 大きな音声デルタを さばきたい response.audio.delta を 分割して転送 デバイス側の受信処理を 安定化 3. 通信責務をサーバーに 寄せたい Azure 側との接続を集約 ログ / 監視 / 変換を入れ やすい Azureでやりたかった AI Agentとして作りこみ やすくなる

Realtime API を使った理由 TTS,STTだと 会話のテンポが重くなりやすい 自然な会話にするテクニックが必要 Realtime API だと WebRTC,WebSocket で常時接続できる 音声を流しながら応答を受け取れる VAD により自然なターン制御がしやすい ロボット相手の会話では、低遅延と自然なターン切り替えの価値が大きい 初心者はまずここから 4

技術的な詳細

GitHub Copilotでどこまでできたか

GitHub Copilot でどこまで作れたか 雛形作成やモジュール分割はかなり助かった エラー調査の当たりをつける速度も上がった 試行錯誤のサイクルは確実に短くなった 最近のモデルなら、一気にいけるのでは? という 期待もあった AI coding agent がいるからこそ、 今はロボット領域にも入りやすい これは本当にそう感じました。 16

でも実際はそんなに甘くなかった 最初の期待 モデルの性能が上がった のでかなり自律的に進む はずだと思っていた Cloude Opus 4.6 Fast modeならいけると信じ ていた 実際 Claude Opus 4.6 Fast Modeだけではエラー 解決できず チャットを何度もや り直した 切り替え後 GPT 5.3 Codex に投げる と かなり良い形で解消した ツールの扱いが上手い印象 を持った やっぱり高いモデルを使えばいい、というものでもまだなかった… 17

まだ難しさは残る 専門知識がゼロだと、Copilot 向けのカスタ マイズ設定自体が難しい 何が正解か分からないまま判断を下す場面が ある AI coding 時代でも、 「人間の勘どころ」が不要に なったわけではありません。 うまくいかない時のトライアンドエラーに時 間がかかる まだまだ専門家の知識は必要だと感じた 19

それでも、今こそ入りやすい 昔より良くなったこと AI coding agent が入口のハードルを下げた クラウド側の音声 API がかなり実用的になった ｽﾀｯｸﾁｬﾝが良い理由 小さく始められる 会話・表情・動きが揃っている 楽しいから続けやすい ロボットを学ぶ入口としても、AI Agent を理解する入口としても、ｽﾀｯｸﾁｬﾝはかなりおすすめ 2

今こそｽﾀｯｸﾁｬﾝでAIと遊ぼう https://shop.m5stack.com/blogs/news/stackchan-by-m5stack-now-available-on-kickstarter 自分で作らなくても買える時代！

• https://shop.m5stack.com/blogs/news/stackchan-by-m5stack-now-available-on-kickstarter

イベント告知

3/4 JAZUG for Women https://jazug.connpass.com/event/382036/

• https://jazug.connpass.com/event/382036/

3/20 GitHub Copilot 祭り！ https://azure-waigaya.connpass.com/event/384269/

• https://azure-waigaya.connpass.com/event/384269/