音声データ分割の手法AZUREスピーチ

>100 Views

November 15, 26

スライド概要

profile-image

はじめまして、yukikoと申します。 IT教育支援や、DX推進が可能です。 ◆ スキル LPIC レベル2 AI / Python Splunk BI(データ可視化・分析) ◆ その他 新卒・未経験の学生向けに、エンジニア転職を応援する資料を趣味で作成しています。 もしよろしければご活用ください。

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

関連スライド

各ページのテキスト
1.

音声データ分割処理 原理原則 長い音声を、壊さず・戻せて・説明できる形で分ける|法人研修 うさうさ研修工房|DXエンジニア向け法人研修・Udemy兼用

2.

この講座のゴール(6つ) STEP1 講師の整理 1. 音声を分割する目的を、場面ごとに説明できる 2. 分割処理の原理原則を6つ言える 3. 公式の制限と対応形式を確認して、計画に反映できる 4. 無音で切る分割と、強制分割+重なりを実装して動かせる 5. 分割後の時刻を元に戻し、境界の重複を除ける 6. 壊して試験を確かめ、言えること・言えないことを人が説明できる 講師の設計。到達の目安であり、資格や規格ではありません 2

3.

全体の地図:8つのSTEP 講師の整理 難度9 難度6 難度5 難度4 STEP7 試験の試験 難度3 難度2 STEP4 難度1 STEP3 STEP2 STEP1 STEP5 公式の制限と形式 無音を見つける 分割計画と書き出 し 難度3 STEP6 時刻補正と結合 STEP8 運用へ持ち帰る 原理原則6つ なぜ分割するか 難度は講師の設計(山場はSTEP7)。分数は目安 3

4.

分割が必要になる3つの場面 STEP1 講師の整理 上限を超える 並列・やり直しの単位 話題・話者の単位 APIにはファイルサイズや 長さの上限がある。超える と、そのままでは送れない 。 小さく分ければ、並列に処 理でき、失敗したときも、 その片だけやり直せる。 無音や発話のまとまりで分 ければ、後の処理(要約・ 確認)が楽になる。 講師の整理。サービスの上限は公式(STEP3で確認) 4

5.

目的が、切り方を決める STEP1 講師の整理 目的 切り方の考え方 気をつけること 上限を超える サイズ・長さが上限未満になる最大 の片 形式でサイズが変わる 並列に処理 片の長さを揃える 待ち時間の偏り 失敗時のやり直し 小さめの片 片が増えると管理が増える 話題・話者の単位 無音の中央で切る 無音が無い区間の扱い 設計案。数値(秒数・重なり)は現場で決める。本講座では例として使う 5

6.

音声分割の原理原則 6つ STEP2 講師の整理 1. 原則1 目的から決める:上限・並列・やり直し・話題。目的が切り方を決める 2. 原則2 話の途中で切らない:無音の中央で切る。無ければ強制分割し、重なりを付ける 3. 原則3 時刻は元に戻す:片の中の時刻は0起点。元の音声の時刻へ直す 4. 原則4 戻せることを試験する:結合して元と一致、欠落も重複もない 5. 原則5 記録して説明する:マニフェストに、誰が見ても元に戻せる情報を残す 6. 原則6 音声は個人情報として扱う:試験はダミーの音声。本物は持ち込まない 講師の整理(公式・規格ではありません)。出典は次の表と STEP3・7 で示します 6

7.

原則と、この講座の試験の対応 STEP2 講師の整理 原則 この講座での形 試験 1 目的から 最大の長さ・上限の確認を関数に AC-11 2 途中で切らない 無音の中央で切る/強制分割+重なり AC-01・02・05・12 3 時刻を戻す 片の先頭の時刻を足して元の時刻へ AC-06 4 戻せる 結合して一致/欠落・重複なし/決定的 AC-03・04・08・09 5 記録 マニフェスト(ハッシュ・範囲) AC-09 6 個人情報 合成音声のみ。入力の検証 AC-10 AC番号は audio-split-kit の試験。公式の根拠は STEP3 で確認 7

8.

演習1:自分の処理を点検 STEP2 動画を止めて取り組む(目安 10分) 講師の整理 原則 自分の処理で確認 記入例 1 目的 なぜ分けるか、書けるか 上限回避→最大長を決める 2 途中で 固定長で切っていないか 30秒固定→無音を見る 3 時刻 分割後の時刻を直しているか していない→足す 4 戻せる 結合して元と比べたか 比べていない→試験 5 記録 どの片がどこか、残しているか ファイル名のみ→記録 6 個人情報 試験に本物を使っていないか 使っている→合成へ 右列は記入例(架空の処理)。自分の処理で埋める 8

9.

Azure Speechの制限(公式) STEP3 公式 対象 項目 上限(公式の記載) 高速文字起こし(S0) 音声ファイルのサイズ 500 MB 未満 高速文字起こし(S0) 音声の長さ ファイルあたり 5 時間 未満 バッチ文字起こし(S0) 音声ファイルのサイズ 1 GB バッチ(話者分離あり) 音声の長さ ファイルあたり 240 分 バッチ 1リクエストのファイル数 1,000(複数URL入力時) 公式:learn.microsoft.com/docs.python.org/ffmpeg.org(2026-11-15 確認)/ai-services/speech-service/speech-services-quotas-and-limits。数値は原文のまま。MBの定 義は未確認 9

10.

5時間より先に、サイズに当たる STEP3 実行確認済み 計算 意味 注意 500MB(10の6乗で計算) ÷ 32,000バイト/秒 = 15,625秒 = 約4.3時間。 非圧縮WAVでは、5時間の 前に、サイズの上限に当た る。長さだけで判断しない 。 MBの定義は未確認なので 、厳しいほう(10の6乗) で判定する。形式が圧縮な ら、結果は変わる。 計算は実行で確認。16kHz・モノラル・16bit PCM=1秒あたり32,000バイト。上限は公式(前スライド) 10

11.

wave と silencedetect の公式 STEP3 公式 道具 公式の記述(要約) Python wave 非圧縮PCMのWAVのみ対応。readframes・setpos・setparams・ writeframes。with で閉じる。壊れた入力では wave.Error(実行では EOFError も出た) wave の書き出し シーク可能な出力では、ヘッダのフレーム数が自動で更新される ffmpeg silencedetect オプション n(noise。既定 0.001)、d(最小の無音の長さ。既定 2秒 )、mono(既定 0) silencedetect の出力 silence_start、silence_end、silence_duration を出力 公式:learn.microsoft.com/docs.python.org/ffmpeg.org(2026-11-15 確認)/docs.python.org wave/ffmpeg.org doxygen af_silencedetect(ソース)。ffmpegの segment の公式文書は取得できず未読 11

12.

無音検出の核(抜粋) STEP4 実行確認済み # 20ミリ秒ごとのフレームで見る for 各フレーム: rms = 二乗平均の平方根 quiet = rms < 300 # 静かなフレームが続いたら区間にする # 最小の無音(0.8秒)未満は捨てる → [(開始秒, 終了秒), ...] # 合成音声での結果(正解との差0.03秒以内) (7.5, 9.0) (20.0, 21.5) (33.0, 34.0) (70.0, 72.0) # 34〜70秒は無音のない連続発話 # → 無音では切れない区間 audio-split-kit/app/split.py(要約)。標準ライブラリのみ。閾値は合成音声用の値で、実音声では調整が必要(未確認) 12

13.

無音検出の落とし穴 STEP4 講師の整理 落とし穴 起きること 対処 閾値が高すぎる 小さな声を無音とみなし、話を切る 雑音の大きさを測って決める 閾値が低すぎる 雑音で無音が見つからない 強制分割+重なりで受ける 最小の無音が短い 息継ぎでも切れ、片が増える 目的に合わせて決める 端の近くで切る 語の頭・語尾が欠ける 無音の中央で切る(両端から 余裕) 講師の整理。実音声での挙動は未確認(本講座は合成音声のみ) 13

14.

演習2:合成音声を作り、無音を検出 受講資料 STEP4 動画を止めて取り組む(目安 10分) 1. フォルダ audio-split-kit に移動する 2. python3 -m unittest discover -s tests -t . -v を実行する 3. 13件がすべて ok になることを確認する(ffmpeg が無い環境では AC-13 が skipped) 4. tests/test_split.py の AC-01 を開き、無音の正解と許容誤差を読む 5. synth.py の LAYOUT を1か所変え、AC-01 がどう変わるか予想→確認する コマンドは Mac/Linux で確認。Windows は未確認。資料 audio-split-kit の README を参照 14

15.

分割計画の考え方 STEP5 実行確認済み # 先頭から、残りが最大長以下になるまで while 残り > 最大長(30秒): 候補 = 最小長〜最大長の間にある 無音の「中央」 if 候補あり: 最後の候補で切る else: 最大長で強制分割 (前後に重なり1秒) # 各片が持つ範囲 own :自分の持ち分(欠落・重複なし) read :実際に読む範囲 強制分割の境界だけ、前後に 重なり(1秒)を足す # 並び:own は隙間なくつながる # 重なりは read にだけある audio-split-kit/app/split.py の plan(要約)。秒数は例(最大30秒・最小5秒・重なり1秒) 15

16.

計画の結果(合成音声80秒) STEP5 実行確認済み 片 own(秒) read(秒) メモ 0 0 〜 20.75 0 〜 20.75 無音(20.0〜21.5)の中央で切る 1 20.75 〜 33.5 20.75 〜 33.5 無音(33.0〜34.0)の中央 2 33.5 〜 63.5 33.5 〜 64.5 連続発話の中で強制分割。後ろ に重なり 3 63.5 〜 80 62.5 〜 80 前に重なり。残りが最大長以下 で終了 audio-split-kit で実行。ownは持ち分、readは実際に読む範囲。強制分割の境界だけ重なり1秒 16

17.

マニフェスト:何を残すか STEP5 講師の整理 元の音声 各片 使い道 ファイル名・サンプリング レート・総サンプル数・ハ ッシュ(sha256)。 own と read の範囲(サン プル単位)、強制分割か、 ファイル名、ハッシュ。 元に戻す・時刻を直す・同 じ結果か確かめる・後で説 明する。 講師の整理(原則5)。項目は audio-split-kit の manifest.json の構成 17

18.

演習3:最大長を変えて比べる 受講資料 STEP5 動画を止めて取り組む(目安 10分) 1. plan の max_len を 25 秒に変えて、片の数と強制分割の位置を表にする 2. max_len を 45 秒にして、同じ表を作る 3. どちらが、無音の中央で切れた回数が多いかを数える 4. 強制分割の回数が増えると、何が困るかを自分の言葉で書く 5. AC-04(欠落・重複なし)が、どちらでも合格することを確認する 秒数は例。現場の目的に合わせて決める(本講座では数値の正解は設けません) 18

19.

時刻を元に戻し、重複を除く STEP6 実行確認済み # 片の中の時刻は、片の先頭が0秒 元の時刻 = read_start(秒) + 片内の時刻 # 認識結果の語 (片内の開始, 長さ, 語) for 各片の各語: a = read_start + 開始 # ←時刻補正 中点 = a + 長さ / 2 # 重複の除き方:持ち分ルール if own_start <= 中点 < own_end: 採用する # それ以外の片が持つ同じ語は捨てる # 境界をまたぐ語も、 # 中点がある片で1回だけ採用される audio-split-kit/app/split.py の to_absolute(要約)。認識結果は試験では代役(fake_asr)を使用 19

20.

境界をまたぐ語:重なりの効果 STEP6 実行確認済み 条件 63.3秒の語 理由 重なりあり(1秒) 1回だけ残る 両方の片に丸ごと入り、中点が持ち分の 片で採用 重なりなし 消える どちらの片にも丸ごとは入らない 重なりあり+重複除去なし 2回出る 両方の片で採用される(AC-08で検出) audio-split-kit の AC-07(63.3秒〜63.7秒の語が強制分割の63.5秒をまたぐ)。認識の代役で確認。実際の認識結果は未確認 20

21.

結合の試験:3つの確認 STEP6 実行確認済み 完全一致 欠落・重複なし 決定的 分割→結合で、元とサンプ ル単位で一致する(AC-03 )。1サンプル欠けても検 出。 ownが隙間なくつながり、 合計が総サンプル数と一致 (AC-04)。 同じ入力から、同じマニフ ェストとハッシュが出る( AC-09)。 audio-split-kit の AC-03・04・09。実行確認済み 21

22.

山場:試験の試験(変異で壊す) STEP7 実行確認済み わざと壊す 不合格になった試験 結果 片を1サンプル短く書く AC-03 検出 時刻補正を忘れる AC-06・07 検出 重複除去をやめる AC-06・08 検出 強制分割に重なりを付けない AC-05・06・07 検出 無音の中央でなく開始で切る AC-07のみ(初回) AC-02は見逃し audio-split-kit で実行。変異を1つ入れて、期待した試験が不合格になれば、試験は効いている 22

23.

見逃しとバグから学ぶこと ★ STEP7 実行確認済み 見逃し(変異5) 直し方 実バグ(AC-10) AC-02 は『切れ目が無音の 中にある』だけを見ていた 。端で切っても合格。たま たま別の試験が落ちただけ 。 無音の両端から0.3秒以上 内側を条件にした。同じ変 異で AC-02 が不合格にな る。 壊れたファイルで wave は EOFError を出した。 wave.Error だけ捕まえてい たため、想定外の例外で落 ちた。 audio-split-kit の変異5と AC-10。AC-02 は切れ目が無音の両端から0.3秒以上内側にあることを確かめるよう強化 23

24.

ffmpegと突き合わせる(実測) STEP7 実行確認済み やったこと 結果(実測) 分かること silencedetect(noise=-40dB, d=0.8) 7.5〜9.0/20〜21.5/33〜34/70 〜72 自作と一致(AC-13) segment 30秒・-c copy 30.08/29.952/19.968 秒 ちょうど30秒ではな い segment_times 20.75,33.5,63.5 20.864/12.672/30.08/16.384 秒 切れ目が最大約0.11秒 ずれる 自作の分割 20.75/33.5/63.5 秒(サンプル単 指定どおり 位) ffmpeg 6.1.1 で実行。segment の公式文書は未読のため、ずれの原因は未確認(推測:パケット単位) 24

25.

演習4:自分の変異を1つ入れる 受講資料 STEP7 動画を止めて取り組む(目安 15分) 1. app/split.py のコピーを取る 2. 変異を1つ選ぶ(例:最小長の比較を1つずらす/重なりを半分にする/ハッシュ計算を外す ) 3. 試験を流し、どの試験が不合格になるか予想→結果を比べる 4. すり抜けた場合は、どの試験が足りないかを書き、試験を足す。落ちた理由が本来の理由か も確かめる 5. コピーから元に戻し、13件が元の結果に戻ることを確認する 変異は1回に1つ。終わったら必ず元に戻す(コピーを取ってから) 25

26.

言えること・言えないこと STEP8 講師の整理 言えること 言えないこと 合成音声では、無音の位置を正解とほぼ一致 して検出できる 実際の会議・通話の音声で、同じ閾値が通用 する 分割して結合すると、サンプル単位で元と一 致する 分割した片で認識したときの精度が、分割し ないときと同じ 境界をまたぐ語が、重なりと重複除去で1回だ け残る(代役の認識で) 実際の認識結果の時刻が、同じ規則で並ぶ 試験が、わざと壊したときに不合格になる Azure上で、同じ片が、上限内で処理される 講師の整理。実音声・実際の認識・Azure上での処理は本講座では未実施 26

27.

運用へ持ち帰る5つ STEP8 講師の整理 1. 上限は公式で確認し、確認日を残す。サイズと長さの両方を、形式ごとに計算する 2. 実音声での閾値は、匿名化・許可された音声で調整し、結果を記録する(別枠) 3. 分割のたびにマニフェストを残し、結合して元と一致することを確認する 4. 外部の道具(ffmpeg など)に切らせるときは、切れ目を実測して試験する 5. 最後は人が責任をもつ:合否と承認は人。機械は材料を作る。音声は個人情報として扱う 設計案。頻度・数値は各現場で決める(本講座では数値の正解を設けません) 27

28.

まとめ:確認したこと/未確認のこと 講師の整理 1. 確認:Azure Speech の上限(高速・バッチ)、Python wave の対応形式、silencedetect の オプションと出力、実行環境(ffmpeg 6.1.1)での分割・検出 2. 実行確認:audio-split-kit 13件(全合格)、変異5件、ffmpeg との突き合わせ、wave の EOFError 3. 未確認:実音声・実際の認識結果、Azure上での処理、MBの定義、ffmpeg segment の公式 文書、Windows、各社の個人情報の規程 4. 次の一手:自分の処理で、演習1の点検表を1枚埋める 公式は 2026-11-15 に確認。収録・受講の前に、公式ページを開いて更新してください 28

29.

この資料の使い方 受講資料 1. 動画を見ながら、 のところで止めて手を動かす 2. 公式のラベルと、講師の整理のラベルを区別して読む 3. 未確認と書かれたことは、自分で確かめるまで事実にしない 4. 音声は個人情報。試験は合成音声だけ。本物の音声は使わない 5. 試験の結果は、合格・不合格・未実施の3つに分けて残す 受講生用の追加ページ(講師用のスライド番号は動きません) 29

30.

考えてみよう5問と答えの目安 受講資料 問い 答えの目安 固定長で切ると、何が困る? 話の途中で切れ、語が欠ける。無音の中央で切る 強制分割に重なりが要るのはなぜ? 境界をまたぐ語が、どちらの片にも入らず消える のを防ぐ 片の中の時刻は、なぜ直す? 各片は0秒から始まる。元の音声の時刻へ戻す 結合して一致すれば十分? 切り方の良し悪しは別。語が欠けないか、認識で 確かめる ffmpegに切らせるとき、何をする? 切れ目を実測し、ずれを許容できるか試験する 答えは目安。自分の現場の事情で変わる 30

31.

用語集 受講資料 用語 この講座での意味 PCM/WAV 非圧縮の音声形式。Python wave が扱える サンプル/フレーム 音の最小単位/無音検出で見る20ミリ秒の区間 RMS 音の大きさ(二乗平均の平方根) own/read 片の持ち分/実際に読む範囲(重なりを含む) マニフェスト 分割の記録(範囲・ハッシュなど) 講座内の用法。厳密な定義は公式を参照 31

32.

追加編 模倣Azureで通し試験 追加編 流れ 中身 1 分割 無音の中央で切り、片とマニフェストを書く 2 送る 片を1つずつ、模倣サーバーの高速文字起こしの形のAPIへ 3 返る その片に丸ごと入る語だけを、片の先頭=0秒で返す(認識の代役) 4 戻す 元の時刻へ直し、境界の重複を除く 5 照合 正解の語と一致するか確かめる 講師の整理・実行確認済み(audio-split-kit AC-14〜19)。本物のAzureへは接続しない 32

33.

追加編 失敗を片ごとに再現 追加編 試験 確かめること AC-15 429 Retry-After の5秒を待って再試行し、結果は変わらない AC-16 503が続く その片だけ失敗と記録。欠けたまま結果を出さない。その1片だけ送り直 す AC-17 重なりなし 境界の語が、APIを通しても消える AC-18 401 再試行しない(受信1回) AC-19 契約 応答が契約に沿う。知らない音声は400 公式の方針(429・5xxは再試行、Retry-After優先、401は再試行しない)に沿った設計。実行確認済み 33

34.

追加編 試験の試験の結果 追加編 わざと壊す 不合格になった試験 時刻補正を忘れる AC-14・15・16 未処理の片があっても組み立てる AC-16 片の照合を無視する AC-14・15・16 Retry-After を無視する AC-15 実行確認済み。変異4件はすべて検出 34

35.

追加編 言えること・言えないこと 追加編 言えること 言えないこと 片ごとの失敗が、他の片を巻き込まない 実際のAzureが、同じ形・同じ時刻で返す やり直しは失敗した片だけで済む 実際の認識精度・語の切れ方 再試行の回数と待ちが設計どおり 本物の上限・料金・リージョン差・認証設定 講師の整理 35

36.

次にやること 受講資料 1. 演習1の点検表を、自分の処理で埋める 2. 使う音声の形式(レート・ビット数)から、上限までの時間を計算する 3. 分割結果にマニフェストを付ける 4. 変異を1つ入れて、試験が本来の理由で落ちるか確かめる 宿題の目安。数値は設けません 36