MiRZAでAI Foundry

MiRZAでAI Foundry 2025/10 XR ミーティング @takabrz1 Takahiro Miyaura

宮浦 恭弘 (Miyaura Takahiro) Microsoft MVP for M365 2018 - 202 6 XR は趣味です.AI 系も最近始めました。 大阪駆動開発( とHolomagicians) コミュニティに生息 HoloLens 日本販売してからxR 系技術に取組む 新しい技術や、MRに使えそうな技術を調べる 技術Tips : https://qiita.com/miyaura https://zenn.dev/miyaura 最近興味があって取り組んでいるもの ○ Microsoft Mesh ○ Azure AI Foundry ○ Snapdragon Spaces ○ Vision Pro もそろそろ・・・ @takabrz1 ※よかったらこれを機にお知り合いになってください

• https://qiita.com/miyaura
• https://zenn.dev/miyaura

今日はMiRZAでAIエージェント使いたい！ そして色々あって未だできていない話 2025/10/15 © 2025 Takahiro Miyaura 3

使うものはこちら 2025/10/15 © 2025 Takahiro Miyaura 4

Azure AI Foundry Azure AI Foundry Agent Service Securely build, deploy, and scale AI agents with ease 開発、デプロイ、本番にわたってエージェントの運用を可能にし、 モデル、ツール、フレームワーク、ガバナンスをインテリジェント・エージェントを構築するためのプラットフォーム 「Azure AI Foundry」の中心となる機能 柔軟なモデル選択 Flexible model selection データとアクションの活用 Knowledge and tools マルチエージェント接続 ai.azure.com Orchestration エンタープライズグレード セキュリティ Enterprise-grade security

Azure AI Foundry Model Catalog Copilot Studio Visual Studio Foundational models Open-source models Azure AI Foundry portal Task models Industry models Evaluations GitHub + Azure AI Foundry SDK Customization Azure OpenAI Service Azure AI Search Azure AI Agent Service Azure AI Content Safety Governance Microsoft Azure Azure 上で提供されるAI エージェントの開発、運用を管理するプラットフォーム

パブリックプレビューでVoice Live APIが提供 Azure AI Foundry 内のモデルやエージェントと会話するAPI ベースはOpenAI のRealtime API ○仕様はほぼ同じで一部Voice Live API ○音声と文字による会話 ○音声とアバター（2D）との会話 用に変更が入っている 最近ようやくアバター(2D) の情報をやり取りできるようになった そしてまたできなくなった。。。 公式ドキュメント クイック スタート: Azure AI Foundry Agent Service https://learn.microsoft.com/ja 2025/10/15 - jp/azure/ai - services/speech を使用して音声ライブ リアルタイム音声エージェントを作成する ( プレビュー) - service/voice - live - agents - quickstart? © 2025 Takahiro Miyaura wt.mc_id =WDIT - MVP- 5003104&tabs=windows%2Ckeyless&pivots=programming - language - python 7

• https://learn.microsoft.com/ja

デモ 2025/10/15 © 2025 Takahiro Miyaura 8

コンソールアプリ版をサンプルに作ってみた Model を強化したAI エージェントと会話できる 2025/10/15 © 2025 Takahiro Miyaura 9

MiRZA上ではまだ動かない 2025/10/15 © 2025 Takahiro Miyaura 11

MiRZA上で動作確認中 まだ、接続状況がうまくいっていない模様 現在のやり方 • デモで見せたアプリは.NET 8.0 で作った • VoiceLiveAPI の処理をライブラリ化 • .netstandard2.1 で作っている Unity は.netstandard2.1 のものは そのまま使える（ことが多い） 現在チャレンジ中。 このためにMiRZA 上でAzure Entra ID 認証できる部品も作った ※今後Entra ID 使うアプリも作れる 2025/10/15 © 2025 Takahiro Miyaura 12

Voice Live APIでAIエージェントと会話する 仕組みが少し複雑だった。（仕様があまりないので） WebSocket 通信とWebRTC両方を使う仕組みだった Azure AI Foundry Voice Live API Avatar 配信用 WebRTCサーバ Azure 2025/10/15 © 2025 Takahiro Miyaura 13

Voice Live APIでAIエージェントと会話する 仕組みが少し複雑だった。（仕様があまりないので） WebSocket 通信とWebRTC両方を使う仕組みだった Avatar を使わず音声や文字で応対する場合 WebSocket 通信 リアルタイムでやり取り （文字・発話） Azure AI Foundry Voice Live API Avatar 配信用 WebRTCサーバ Azure 2025/10/15 © 2025 Takahiro Miyaura 14

Voice Live APIでAIエージェントと会話する 仕組みが少し複雑だった。（仕様があまりないので） WebSocket 通信とWebRTC両方を使う仕組みだった OK Avatar を使う場合 アバター使いたい WebSocket 通信 リアルタイムでやり取り 文字：送受信 音声：送受信 Azure AI Foundry Voice Live API 接続情報渡す サーバを準備する 形式の確認 ストリーム配信 映像：受信 ここ最近変わった Avatar 配信用 WebRTCサーバ この辺りがプレビュー版の雰囲気 Azure 2025/10/15 © 2025 Takahiro Miyaura 15

Voice Live APIでAIエージェントと会話する 仕組みが少し複雑だった。（仕様があまりないので） WebSocket 通信とWebRTC両方を使う仕組みだった OK Avatar を使う場合 アバター使いたい WebSocket 通信 リアルタイムでやり取り 文字：送受信 音声：送信 Azure AI Foundry Voice Live API 接続情報渡す サーバを準備する 形式の確認 アバター使う場合 2Dの映像と音声が動画で返ってくる 2025/10/15 ストリーム配信 映像：受信 音声：受信 Avatar 配信用 WebRTCサーバ Azure © 2025 Takahiro Miyaura 16

まとめ Voice Live API をより深く使って見た ○ パブリックプレビューのものは色々難しいのを再確認した ○ エージェント用意しておけば、API で音声とかアバター使えるの便利 ○ 現状の仕様でほぼ正式なんだとしたら結構コツがいる ○ OpenAI のRealtime API に似てるけどちょっと違うところもある ○ アバターはWebRTCでカメラ付き会議システム作るのに近いけど 最初の疎通開始部分が独特 一通り動くようになったら記事とかアプリで公開する予定 2025/10/15 © 2025 Takahiro Miyaura 17

やりたかったこと いわゆるAI グラスっぽいのはどういう感じか試すためのベース作り ○ 色々試せるAI グラスも最近は増えてきてる ○ ただ、何となく買うのは・・・そうだ、身近なもので作ろう ○ どういうものを身近に持っておくと便利なのか色々試してみたい ○ エージェントの管理しやすいサービスでやってみたい →Azure AI Foundry つかってみよう ○ 動くようになったら報告します！ 2025/10/15 © 2025 Takahiro Miyaura 18

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ