Microsoft Foundry Tools - Personal Voice試してみた

Microsoft Foundry Tools Voice Live で自分の声で応対させてみる 2026/08 AI ミーティング @takabrz1 Takahiro Miyaura

宮浦 恭弘 (Miyaura Takahiro) Microsoft MVP for M365,Microsoft Foundry 大阪駆動開発コミュニティに生息 HoloLens 日本販売してからxR 系技術に取組む( 過去Mixed Reality 領域でMicrosoft MVP 新しい技術や、XR関連の技術を調べたり、体験して日々技術を満喫 技術Tips : https://qiita.com/miyaura https://zenn.dev/miyaura 最近興味があって取り組んでいるもの ○ AndroidXR ○ 新しいガジェット(Even G2,MiRZA,Galaxy ○ Microsoft Foundry などのAI 技術 @takabrz1 ※よかったらこれを機にお知り合いになってください XR,etc …) 受賞)

• https://qiita.com/miyaura
• https://zenn.dev/miyaura

本日のお話 30 秒の音声から「自分の声」でエージェントを喋らせるまで とは ― 短い音声サンプルから自分の声を再現する ※ Personal Voice ※ 作ってみる ― 利用申請(Limited Access) と音声モデルの作成 から使う ― session.update の voice を差し替えるだけ ※ Voice Live API ※ 最大の落とし穴 ― 話者プロファイル ID(GUID) ※ デモ / まとめ・参考リンク 今回はMicrosoft Foundry 2026/08 上で実験。デプロイした生成AI モデルや、エージェントの会話にカスタム音声を使う © 2026 Takahiro Miyaura 3

Microsoft Foundry The AI app and agent factory Azure 上で提供されるAI エージェントの開発、運用を管理するプラットフォーム Models Agent Service IQ Tools Machine Learning Control Plane Cloud Edge Security, compliance, and governance 引用: Microsoft.Let your agentic apps talk with Azure Speech.Microsoft Ignite 2025.2025,11,p.3.https://ignite.microsoft.com/ en - US/sessions/BRK198, （参照 2026 - 01 - 21 ）.

Foundry Tools – Voice Live AIモデルやエージェントをリアルタイム音声会話で利用 日常対話はモデル、複雑タスクはAgent に委任 Agent 呼出 Microsoft Foundry でエージェントを定義 音声 ユーザ Voice Live Foundry Agent Service Agent 呼出 SDK(API) 応答 リアルタイムAI モデル 基本対話を担当 応答 音声応答 モデル呼出 モデル呼出時 プロンプト、ツール、MCPの 設定も渡せる 2026/08 © 2026 Takahiro Miyaura Foundry Models Phi4,… 5

Personal Voice とは 短い音声サンプルから「自分の声」を再現する Microsoft Foundry 2026/08 © 2026 Takahiro Miyaura の機能 6

2つのカスタム音声 ― Personal / Professional Personal Voice プロフェッショナル音声 ※ 必要なデータ：1分間のスピーチ（実際は30 秒 ※ 必要なデータ：300 〜2,000 発話（約30 分 ※ 想定シナリオ：ユーザー自身の声をアプリで使う ※ 想定シナリオ：ブランド音声、キャラクター音声、 ほどで作れた） ※ 100 超のロケール・91 言語、言語の自動検出あ り ※ ロケールタグ不要／文単位で言語を自動判定 ※ Limited Access （申請・審査が必要） 今日の話：Personal Voice 2026/08 〜3時間） 読み上げ ※ 多言語利用にはクロス言語機能の選択が必要 ※ 大量の収録データと工数が前提 ※ 同じく Limited Access を作って、Voice Live API © 2026 Takahiro Miyaura のセッションに指定するまで 7

自分の声を作る リソース準備 → 利用申請 → モデル構築 のセットアップ 2026/08 © 2026 Takahiro Miyaura 8

カスタム音声を作るまでの流れ STEP 1 STEP 2 STEP 3 STEP 4 リソースを準備する 利用申請 自分の声を作る 使ってみる 対応リージョンに Foundry リソースを作 成。リージョン制限に注 意 Limited Access フォームで審査。ここが 最大の関門 同意の録音 ＋ トレー ニングデータ。数分で完 成 プレイグラウンド / Voice Live API から呼び出す ポイント： 時間がかかるのは STEP 2 2026/08 の申請だけ。承認さえ通れば、声そのものは数分でできる © 2026 Takahiro Miyaura 9

STEP 1 リソースを準備する Personal Voice が使えるリージョンに Microsoft Foundry やることは3つ 使うまでは課金は気にしなくていい のリソースを作成 ※ Microsoft Foundry ※ Personal Voice 2026/08 を作るところから 対応リージョンを選ぶ ※ Foundry は利用時のみの従量課金 ※ リソース作成・モデルデプロイだけでは課金されない ※ プロジェクトを作成して開く ※ この機能のために別リージョン環境を作ってもOK 注意 Personal Voice は利用できるリージョンが限定されている ― 作成時にリージョンを間違えないこと © 2026 Takahiro Miyaura 10

STEP 2 利用申請(Limited Access) ― 最大の関門 かなり利用制限が掛かっている機能。申請して承認されないと使えない 申請の条件 ※ 対象は「Microsoft のアカウントチームが直接担当している顧客」のみ ※ 個人が気軽に使える機能ではない ※ 組織メールアドレスからの申請のみ受付 ※ 利用用途・機能・身元の情報を提出して審査を受ける ※ 承認範囲は申請時に選んだユースケースに限定 ※ 同じ機能でも利用目的が違えば別途申請 申請フォーム：https://aka.ms/customneural 2026/08 © 2026 Takahiro Miyaura 11

• https://aka.ms/customneural

STEP 3 自分の声を作る Foundry の画面から数分で完成 ― ただし「同意の録音」は省略できない 作成手順 1. [ カスタマイズ] タブ →[作成] で新規作成 2. モデルは [Azure Speech - Text to Speech] 3. 種類は[ パーソナル音声] 、音声名・説明を入力 4. [ ボイスタレントの追加] で同意の録音（言語・氏名・会 社名） 5. トレーニングデータを追加（事前録音のアップロードも 可） 6. 同意事項をチェックして送信 → モデル生成 同意のための録音ダイアログ ― この手順は省略できない 2026/08 © 2026 Takahiro Miyaura 12

STEP 4 使ってみる まずはプレイグラウンドで、そのあとアプリから プレイグラウンドで試す ※ 音声の選択で Azure Speech できあがりは数分 のカスタムを選ぶ ※ 30 秒ほどの音声で作成できた（公式表記は1分） ※ 作成したパーソナル音声が一覧に出てくる ※ 100 超のロケール・91 言語で合成できる ※ そのままリアルタイム音声会話ができる ※ ロケールタグ不要、文単位で言語を自動判定 次のステップ アプリから使うには Voice Live API ― 2026/08 © 2026 Takahiro Miyaura ここに最大の落とし穴があります 13

Voice Live API から使う プレイグラウンドでの確認と、session.update 2026/08 © 2026 Takahiro Miyaura での指定方法 14

最大の落とし穴 ― 話者プロファイル ID が見つからない これは通らない 正解はこれ ※ ポータル上の voice 名 ※ ポータルに表示される「プロファイル ID 」 ※ サービスが生成した話者プロファイル ID(GUID) ※ 画面には出ず、URL からしか取得できない you don't have access to this personalVoiceName or it's not available .../build/services/finetune-details/xxxxxxxx-xxxx-xxxx-xxxxxxxxxxxxxxxx/details?tid=...&type=personalVoice 注意：公式ドキュメントは name を "Voice name" 2026/08 と説明。その通りに書くと動きません © 2026 Takahiro Miyaura 15

session.update で voice を差し替えるだけ
{
"type": "session.update",
"session": {
"modalities": ["text", "audio"],
"turn_detection": { "type": "server_vad" },
"voice": {
"type": "azure-personal",
"name": "xxxxxxxx-xxxx-xxxx-xxxx-xxxx",
"model": "DragonLatestNeural"
}
}
}

確認：session.updated

2026/08

指定するのは3つだけ

※ type ： azure - personal 固定
※ name ： 話者プロファイル ID(GUID) 。
URL から取得したもの

※ model ： 必須。
DragonLatestNeural /
DragonHDOmniLatestNeural /
MAI- Voice - 1 から選ぶ
プリセット音声との違いは type
が必須になること

と、model

が返れば適用済み。ID が誤っているとこの時点でエラーが返る

© 2026 Takahiro Miyaura

16

アバターとの組合せは自由
voice

と avatar

は同じ session

の中の別キー。両者は完全に独立している

"session": {
"voice": {
"type": "azure-personal",
"name": "xxxxxxxx-xxxx-...",
"model": "DragonLatestNeural"
},
"avatar": {
"type": "photo-avatar",
"model": "vasa-1",
"character": "my-avatar",
"customized": true
}
}

2026/08

任意の組み合わせが可能

※ 特別な結び付けは不要。両方書くだけで
組み合わせられる

※ 標準アバター × 自分の声
※ 自分の写真から作ったアバター × 自分
の声

※ アバターのカスタムは別途 Limited
Access

© 2026 Takahiro Miyaura

の申請が必要

17

デモ 30 秒の音声から作った「自分の声」でエージェントに説明させる 2026/08 © 2026 Takahiro Miyaura 18

最初のMicrosoft Foundryの解説を。。。 最初に簡単にMicrosoft Foundry につい て紹介しますね。Microsoft Foundry は Azure で提供されている生成AI モデルや、 エージェントの開発、運用管理ができるエンター プライズ向けのプラットフォームです。エージェント の開発に必要なトレースや評価、運用時の ガードレール設計などが提供され企業でのエー ジェント活用に力を発揮するサービスです 2026/08 © 2026 Takahiro Miyaura 19

まとめ は「申請」さえ通れば実装はとても簡単 Personal Voice ※ Limited Access 。申請フォームはカスタムアバターと共通だが、申請は機能ごとに必要 ※ 作成時の同意の録音は省略できない。すべては本人の明示的な同意が前提 ※ トレーニングデータは30 秒ほどの音声で作れた で使うには話者プロファイル ID が必要。 名でもポータル表示の ID でもなく URL の GUID ※ Voice Live voice ※ 実装は session.update avatar の voice を差し替えるだけ。 とは別キーなので自由に組み合わせられる 今日いちばん伝えたいこと 思ったより自分の声でびっくりした 2026/08 © 2026 Takahiro Miyaura 20

Qiita記事でも解説 30 秒の音声で「自分の声」を作って Microsoft Foundry - Personal Voice の申請から実装まで エージェントを喋らせる https://qiita.com/miyaura/items/86bef638d0ac226bd135 今日の話をもう少し詳しく解説 2026/08 © 2026 Takahiro Miyaura 21

• https://qiita.com/miyaura/items/86bef638d0ac226bd135

Qiita記事でも解説 Foundry Tools - Voice Live 動向 (2026 - 08 ) - SDK と 2026 - 06 - 01 - preview について https://qiita.com/miyaura/items/8a07b6e803073ff92149 Foundry Tools Voice Live の最近更新情報を紹介 記事を書いた数日前にSDK バージョン上がった。 この記事内のPreview 機能が一部普通に使え るようになっています （その話は近日中に更新予定） 2026/08 © 2026 Takahiro Miyaura 22

• https://qiita.com/miyaura/items/8a07b6e803073ff92149

参考リンク 記事 / 検証コード の申請から実装まで（本日の内容） ※ Personal Voice qiita.com/miyaura/items/86bef638d0ac226bd135 ※ Voice Live 動向 (2026 - 08) — SDK と 2026 - 06 - 01 - preview qiita.com/miyaura/items/8a07b6e803073ff92149 ※ TakahiroMiyaura / VoiceLiveAPISamples github.com/TakahiroMiyaura/VoiceLiveAPISamples 公式ドキュメント ※ パーソナル ボイスとは learn.microsoft.com … personal-voice-overview ※ Limited Access 申請フォーム ※ Voice Live API の使用方法 aka.ms/customneural learn.microsoft.com … voice-live-how-to 2026/08 © 2026 Takahiro Miyaura 23

大阪駆動開発 関西を中心に、IT系のおもしろそうなことを 楽しんでやるコミュニティ