Windows 11とNPUで実現するWindowsのAI

Windows 11とNPUで 実現するWindowsのAI 2023年2月25日 .NETラボ勉強会 木澤朋和 Microsoft MVP for Windows and Device for IT windows-podcast.com

自己紹介 • 木澤朋和(きざわともかず) • 某メーカー系でエンジニアをやっています • Microsoft MVP for Windows and Devices for IT (2022/7~2023/6) • ブログの執筆 • ポッドキャスト番組の配信、動画(YouTube)の配信 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 2

ポットキャスト番組 • 「WoodStreamのデジタル生活」 • マイクロソフトの製品や技術をお話しする番組 • windows-podcast.com/podcast • 各種音声配信サービスとYouTubeで毎週配信 • 配信 13年 / 668回 Google Podcasts Spotify Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 3

YouTube • YouTube動画も毎週更新しています。 • https://www.youtube.com/@windows-podcast Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 4

• https://www.youtube.com/c/windows-podcast

ご注意 • 本セッションは2023年2月21日時点の情報からお話ししていま す。 • 今後、マイクロソフト及び各プロセッサメーカーの動向で 内容は変更されることがあります。 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 5

本日の内容 • WindowsのAI機能にNPUがなぜ必要か? • 各プロセッサメーカーとWindowsの動向 • Windows Studio Effectsとは? • ニューラルネットコンピューティングとNPU • WindowsのAI機能の展開 • 各プロセッサメーカーの対応 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 6

Windows 11の Windows Studio Effects Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 7

Windows Studio Effects • 背景ぼかし • カメラに映っている人物の背景をぼかす。 • 人物の映像をリアルタイムに検出して、背景をぼかす。 • アイコンタクト(視線の補正) • カメラに映っている人物の「目」がカメラ目線になるように 映像を補正する。(次ページ) • 自動フレーミング • カメラに映っている人が移動するした場合に、人に合わせて画面の枠(フレー ム)を移動させ、常に人を追うようにする。 • 音声フォーカス • 「喋っている人の声」以外を除去する。近くにいる他の人の喋り声や騒音な どを除去して鮮明でクリアな音声を入力する。 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 8

アイコンタクト • カメラ目線にする 画像:マイクロソフトより Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 9

自動フレーミング • 人に合わせてフレームを移動 移動 枠が移動 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 10

Windowsすべてのカメラ/音声入力で利用可 • 特定のアプリケーション向けではなく • Windowsのカメラ入力、音声入力の機能で利用可 • Teamsだけではなく • Zoom • Webex • その他カメラと音声入力をする すべてのアプリケーションから使うことができる。 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 11

Windows Studio Effectsを 実現するためにNPUが活躍 • 映像と音声をリアルタイムに識別して補正する処理が必要 • Windows Studio EffectはNPUを搭載したデバイスでないと機 能しない。 • 現時点ではArmプロセッサのQualcomm Snapdragonと Microsoft SQ3のみが対応 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 12

NPUとは? Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 13

ニューラルコンピューティング • 人間の脳細胞を模したもの • 脳内の神経細胞(ニューロン)とニューロン同士を接続するつな がりであるシナプスから構成 • 図の丸がニューロン、線がシナプス 左側が情報の入力、 中間が推論過程、 右側が答え https://www.ac-illust.com/ より Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 14

ニューラルコンピューティング • 入力した情報(例えば画像)から 条件を抽出してそれらの関連性のかさみ付け答えを導きだす いろいろ推論 85%で「犬」 https://www.ac-illust.com/ より Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 15

実現するには • 沢山の情報から判定する必要がある。 • 「複数の処理を同時に」行わなければならない。 • この過程で複雑な数値計算は必要としない 大抵は「行列計算」であり 実際は「加算」か「乗算」を行う。 • 浮動小数点演算のような機能ではなく 単精度の整数演算で十分 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 16

Windows Studio Effectsからの利用 • 背景ぼかし • 背景ぼかしをするために「人の形」を見極めて、映像の中のどこまでが人で どこからが背景なのかを割り出す。 • 映像から「人」である部分を推論。 • アイコンタクト/自動フレーミング • 映像の中から動いている人を割り出す。 • 人の瞳を特定する • ノイズキャンセリング機能 • 主に話している人の声とバックの騒音、他の人の会話を分けなければなりま せん。 • リアルタイムに行う • 同時に入ってくる沢山の情報を同時に処理する Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 17

処理するプロセッサ • CPU • • • • Central Processing Unit Intel Coreプロセッサ AMD Ryzenプロセッサ Qualcomm Snapdragon • GPU • Graphics Processing Unit • NVIDIA GeForceシリーズ • AMD RADEONシリーズ • NPU • Neural Processing Unit Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 18

CPU • CPUは原則、シーケンシャルな処理をする。 • 入力があって、計算をして、出力する。 • この処理を順番に一つ一つ行っていきます。 • 複雑で高度な計算を行います。 • 同時処理 • マルチコア、マルチスレッドでも、数十個くらいです。 • 最新の第13世代CoreプロセッサのCore i9-13900でも32スレッド • 映像や音声などの非常に多くの複数の情報の同時に限界 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 19

GPU • 映像にしたい情報入力して、 画像にするために計算をして、 画像の情報にして出力 • 同時処理 • 複数の処理をする単位としては(注:超乱暴な言い方をすると) NVIDIAのGeForce RTX4090は16,384の同時処理を行う。 • CPUほど高度な計算を行うわけではない。 • そういう意味ではニューラルネットワークなどのAI的な処理に向いて いる。(現実的に扱われている) • 演算内容としては高精度な浮動小数点演算も行う。 • 同時に消費電力も高くなる。 • AIの処理としてはそこまでの演算能力は必要としない Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 20

NPU • NPUはGPU同様に複数の情報を同時に処理する仕組みを持った AI処理に特化したプロセッサ • 32ビット浮動小数点演算ではなく16ビットや8ビットの 整数演算を高速に処理 • 複雑な計算を行うこともなくGPUほど消費電力が高くない • 「行列計算」に最適化されたプロセッサとして誕生 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 21

だからNPU • ニューラルコンピューティングはCPUとGPUで賄えていた • 更に効率よく低消費電力で処理するNPUを適用 • CPUとGPUにもそれぞれ仕事がある その他のAI的な処理はNPUに任せるというトレンド • 特にスマートフォンの世界ではカメラ機能や各種認識機能を はじめとしてNPUが活躍している。 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 22

モバイル系NPUの特徴 • ニューラルコンピューティング • 「トレーニング」と「推論」というフェーズに分かれている • 特にモバイル系では「推論」の機能に注力 • トレーニング済みの学習情報を持っており、 そこから推論する動き。 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 23

Windows 11の展開 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 24

Windows Studio Effectsは公開 • 「Windows Studio Effectsは特定のハードウェアSnapgradon 8cx Gen3(Microsoft SQ3のベース)で動いている。 他のOEMやハードウェアベンダーとも連携する。 デバイスとWindowsエコシステムを構築し続けるためにも Windows Studio Effects は公開する。」 • Ignight 2022の動画より MicrosoftのGroup Program managerのFred Balsigerさん Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 25

各種NPUへの対応 • 「将来、有望なNPUにWindows Studio Effectsを採用する計画 もある。 したがって、業界全体の将来の技術がこれらのNPUを活用し、 すべてのWindowsマシンでWindows Studio Effectsのますます 広範囲なエコシステムが見られるようになるでしょう」 • Ignight 2022の動画より MicrosoftのGroup Program managerのFred Balsigerさん Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 26

各種NPUの対応 • NPUを活用するライブラリが必要 • 現時点ではQualcommのSnapdgragonに特化した仕組みとなっ ている • 「Windowsの場合、QualcommはSnapdragonのNeural処理エ ンジンAPIを利用できるようにしている。これでNPUで直接処 理できるようになっている。とはいえ、特定のハードウェア アーキテクチャを抽象化して、開発者向けのより包括的なソ リューションに取り組んでいる。これについては来年のBuild までに情報を提供していく。」(Fred Balsigerさん) Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 27

各プロセッサメーカーの対応 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 28

Qualcomm • Snapgragon • QualcommのSOC Snapdrgon 8cx Gen3にはトレーニング情報があ る • ここからデータを入力して推論させてWindows Studio Effectsな どに適用 • 「オートフレーミング」「ノイズキャンセル」「音声アクティ ベーション」「顔検出」「ジェスチャートラッキング」などを サポート Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 29

Qualcomm • QualcommはMicrosoft SQ1の段階でWindows Studio Effects のアイコンタクトの機能を実装 • Snapdragon 8cx => Microsoft SQ1にNPU搭載済み https://developer.qualcomm.com/blog/ai-accelerated-experiences-security-windows-snapdragon Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 30

• https://developer.qualcomm.com/blog/ai-accelerated-experiences-security-windows-snapdragon

Intel • Intel • インテルは「XPU」という考え方でCPU、GPU、NPUを統合を 計画 • インテルでは第10世代Coreプロセッサ(Ice Lake)でIntel GNA(Gaussian & Neural Accelerator)としてAIアクセラレータ を投入 • OpenVINOとしてAIソリューションとしてSDKの公開 • Windows Studio Effectsには未適用 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 31

Intel • 第14世代CoreプロセッサにあたるMeteor Lake、第15世代Core プロセッサと想定されるLuner Lakeには「Integrated AI Accelaration」としてAI処理の特化したNPU相当の機能が入る ことが発表されている。 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 32

Intel • CES2023の直前に発表 • インテルは第13世代CoreプロセッサのノートPC対応版の発表 • NPU(インテルではVPU(Visual Processing Unit))を外付けにす ることを可能としていることを発表 • 第14世代Coreプロセッサへの NPU(VPU)に内蔵に向けての 布石と言える。 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 33

AMD • AMDはZen4,Zen5アーキテクチャでAIE(AI Engine)と呼ばれる 旧Xilinx(AMDが買収)の技術が適用されようとしている。 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 34

AMD • CES2023でRyzen AI EngineでWindows Studio Effectsに正式 対応を発表 https://www.youtube.com/live/OMxU4BDIm4M?feature=share&t=1416 Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 35

• https://www.youtube.com/live/OMxU4BDIm4M?feature=share&t=1416

Apple Siliconはどうなる? • 2/17にマイクロソフトが正式に対応を承認 http://bit.ly/3XQbR4E Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 36

• http://bit.ly/3XQbR4E

YouTubeでも解説しています https://www.youtube.com/@windows-podcast/ ポッドキャスト番組 https://windows-podcast.com/podcast/ Copyright (c) 2023 Tomokazu Kizawa All rights reserved. 37

• https://www.youtube.com/c/windows-podcast/
• https://windows-podcast.com/podcast/