Igniteハイライト: AOAI with PaaS
2.6K Views
November 29, 23
スライド概要
Azure Tech Day ~November 2023 Edition~登壇資料
関連スライド
各ページのテキスト
Ignite ハイライト: AOAI with PaaS 株式会社エーピーコミュニケーションズ ACS事業部 吉川 俊甫
自己紹介 吉川 俊甫 Shunsuke Yoshikawa • 株式会社エーピーコミュニケーションズ (APC) 所属 • 2023 Microsoft MVP (Microsoft Azure) • コミュニティ活動 • • MICUG クラウドネイティブ/内製開発分科会 オーガナイザー Platform Engineering Meetup 運営メンバー
会社概要 業界にとっての新しいSIのモデルNeoSIer エーピーコミュニケーションズ（APC）は、お客様のことを真剣に考えられるエンジニアを育成し、熱狂で きるキャリアパスを創出し、パフォーマンスを最大化できる環境を創り、従来の慣例に捉われずに工夫と挑 戦を行い続けるNeoSIer（ネオエスアイヤー）です。 SIのDX化 Engineer driven(エンジニア文化の育成) 攻めのDX/AI内製化・Microsoft Azure 会社名 ： 株式会社エーピーコミュニケーションズ URL ： http://www.ap-com.co.jp/ 社員数 ： 430名(2023年1月現在) Azure有資格者100名以上 × ・NeoSIerを掲げ、DX時代に必要なSIモデル変革に挑戦。 DockerEnterpriseを買収したMirantisとのJVを設立。 攻めのDX/AIの内製化、自社事業のDX化、ネットワーク自動化、 SASE(ゼロトラスト)サービス、自社プロダクトの世界拡販、プライム化など。 ・Microsoft様DevOps Specialization、SolutionPartner(3カテゴリ)。 ・コミュニティ登壇・blog・技術イベント・エンジニアメンター制度など、 エンジニア中心の組織文化を構築。 ・社内大学制度APアカデミーなども生かし、Azureエンジニアを育成。
Microsoft Ignite 2023 2023-11-16 ～ 18(日本時間) に開催された Microsoftの年次カンファレンス Microsoft Ignite 2023: AI 変革と変化を推進するテクノロジー
Azure OpenAI Serviceに関する話題が多い…しかし AOAIを活用した業務システムをAzure上に展開する際、 PaaS の利用は欠かせない 画像引用元: Microsoft Tech Community Blog – Demystifying Azure OpenAI Networking for Secure Chatbot Deployment
本セッションの内容 Microsoft Ignite 2023の発表内容から、AIに関するアップデートや Azureでアプリケーションをホストする際に利用する PaaS/SaaS の アップデート情報をピックアップしてお届けします GA Preview Upcoming 一般提供 プレビュー提供（サポートなし） 今後提供予定
AI
Azure OpenAI Service に新モデル登場 Preview 2023-11-7(日本時間)に開催されたOpenAI DevDayで発表された GPT-4 Turbo がAzure OpenAI Serviceにも登場。 • より新しい情報（2023年4月までの情報でトレーニング） • より大きな入力トークン数（128,000トークンまで） • より安価（入力: $0.01/1,000トークン, 出力$0.03/1,000トークン） また、JSON Mode(応答をJSON形式に強制する)の登場により、 アプリケーションへの組み込みがより容易になった。 JSON Modeは同時に発表された GPT3.5 Turbo(1106) でも利用可能。
JSON Mode とは JSON Mode未使用時 【入力プロンプト】 JSON形式を 文字で指定 JSON Mode使用時 【入力プロンプト】 response_format で json_object を指定 messages=[ {"role": "system", "content": "あなたはJSON形式で応答を返すアシスタントです"}, {"role": "user", "content": "2020年のプロ野球 日本シリーズの優勝チームを教えてください"} ] response_format={ "type": "json_obje ct" }, messages=[ {"role": "system", "content": "あなたはJSON形式で応答を返すアシスタントです"}, {"role": "user", "content": "2020年のプロ野球 日本シリーズの優勝チームを教えてください"} ] 【出力結果】 【出力結果】 ```json { "year": 2020, "event": "プロ野球 日本シリーズ", "champion": "福岡ソフトバンクホークス" } ``` { JSON以外の文字列が 出力されてしまう "year": 2020, "event": "プロ野球 日本シリーズ", "champion": "福岡ソフトバンクホークス" } JSON形式の 出力が得られる
Azure OpenAI モデル別価格比較 太字が今回追加された新モデル。 GPT-3.5 Turbo, GPT-4 Turboともに 従来モデルより 安価な価格設定 となっている。 モデル 最大トークン数 Prompt(入力) 価格 Completion(出力) 価格 gpt-35-turbo 4,096 $0.0015 / 1,000トークン $0.002 / 1,000トークン gpt-35-turbo-16k 16,384 $0.003 / 1,000トークン $0.004 / 1,000トークン gpt-35-turbo (1106) 16,384 $0.001 / 1,000トークン $0.002 / 1,000トークン gpt-4 8,192 $0.03 / 1,000トークン $0.06 / 1,000トークン gpt-4-32k 32,768 $0.06 / 1,000トークン $0.12 / 1,000トークン 128,000 $0.01 / 1,000トークン $0.03 / 1,000トークン GPT-4 Turbo (gpt-4 1106-preview)
マルチモーダル対応 Upcoming 同じくOpenAI DevDayで発表された GPT-4 Turbo with Vision への対応も発表。 文字データだけでなく画像をAOAIへの入力として扱えるようになる。 また、Azure内の別サービス Azure AI Vision Video Retrieval との統合により、 動画データを扱うことも可能となると発表。 GPT-4Vは年内にパブリックプレビュー開始予定。
画像と音声の生成 Preview 画像生成用モデルとして DALL-E 3 のパブリックプレビューが開始。 現時点ではスウェーデン中央リージョンのみ対応。 Azure AI Speech の Personal Voice による 自分の音声をベースにしたテキスト読み上げ機能が登場予定。 最短60秒の学習サンプルから音声モデルを作成し、 AI Speechが対応する100か国以上の言語で利用可能となる。 12月より一部リージョンでパブリックプレビュー開始予定。
Azure OpenAI 新機能の活用例 書籍の本文を 全量連携して要約 要約した文章から イメージ画像を生成 GPT-4 Turbo ネットショップへ 欲しい商品のイメージ画像を アップロード、 画像からコンテキストを抽出 自社の取り扱い商品から イメージに近いものを検索 GPT-4 Turbo with Vison 表紙やポスターなど 宣伝素材として活用 DALL-E 3 ユーザーの希望に近い 商品をレコメンド
Azure AI Studio Preview Azure上でのAIサービスの操作を一元的に行えるポータル Azure AI Studio がプレビュー公開 • モデルのデプロイ • OpenAIに限らず、Meta社のLlama、NVIDIA社のNemotronなどにも対応 • プロンプトフローの使用 • ファインチューニング • RAGの構成 • LLM以外のAzure AIサービスの利用 が一つのポータルから操作できる。 https://ai.azure.com/ にて公開中。
Azure AI Studio – モデルカタログ Azure OpenAIだけでなくOSSのモデルを含め カタログから好きなモデルを選んでデプロイ可能 Preview
Azure AI Studio – モデルカタログ Preview モデルの説明や利用方法の解説を閲覧できる。 一部のモデルでは、デプロイ前にサンプル環境上でテストも可能
Azure AI Studio - プロンプトフロー LLMとPythonコードでの処理フローを 画面上でビジュアル化された状態で定義・編集ができる Preview
Data
Azure AI Search Azure Cognitive Search と呼ばれていた検索サービスが Azure AI Search と名称変更された。 同時にプレビュー中だった以下2機能がGA • ベクトル検索 • セマンティック ランク付け Azure OpenAI Serviceと組み合わせて RAG を構成する際に よく利用される機能である。 GA
Azure AI Search GA RAG: データを検索するシステムを追加することでLLMを拡張する。 ドキュメントなどのデータをあらかじめ ベクトル化 して格納、 ユーザーからの入力ベクトルと近いデータを返す。 画像引用元: Azure AI Search での取得拡張生成 (RAG)
Cosmos DB for MongoDB 仮想コア GA Cosmos DBのMongoDB APIに新たに 仮想コア ベースが追加された。 従来のRU(要求ユニット)数によって性能を決める方式ではなく、 CPU仮想コア数によって性能を決めるデプロイ方式を取る。 従来のRUベースとの大きな機能差異として、 仮想コアベースでは ベクトル検索 をサポートする。 つまり、RAG用のデータベースとして使用可能。
Azure Database for PostgreSQL extension for Azure AI Preview Azure Database for PostgreSQLとAzure AI Serviceを 直接連携させる拡張機能がプレビュー開始。 Azure OpenAI / Azure AI Languageとの統合で、以下機能が利用可能。 • テキストのベクトル化 • AI Languageの以下機能を利用可能 • • • • • • • テキスト要約 感情分析 言語検出 キーフレーズ抽出 エンティティ リンク 固有表現認識 個人特定情報の検出
Azure Database for PostgreSQL extension for Azure AI 通常の形式 ①AI Serviceでデータ を処理し結果を取得 Preview extension for Azure AI ①DBへクエリを実行 ②DBがAI Serviceと連携し、 処理結果を受け取り保存する ②結果をDBへ保存
Microsoft Fabric GA 以下サービスの機能を統合した、企業内データプラットフォーム。 • PowerBI • Data Factory • Synapse Analytics 企業内のデータを OneLake に統合し、 分析・可視化するまでを1か所で操作可能。 今後、Copilot in Microsoft Fabric のプレビューが開始予定。 自然言語で各種操作ができるようになる。
Application
Kubernetes AI Toolchain Operator (KAITO) Azure Kubernetes Service(AKS)上に OSSのLLMを簡単にデプロイするための拡張機能。 モデルのデプロイに合わせ、GPUノードを動的に追加可能。 Falcon と Llama2 の2種類のLLMに対応している。 画像引用元: https://github.com/Azure/kaito/ Preview
Azure Container Apps の GPU対応 フルマネージドなKubernetesベースのサービスである Azure Container Apps で GPU対応 がプレビュー開始。 NVIDIA A100 を搭載したマシンタイプが選択可能で、 機械学習やLLMのワークロードに活用できる。 現状では一部のリージョンのみ対応、 かつサポートリクエストでの承認を経て利用可能となる。 Preview
Azure Container Apps ベクトルDBアドオン Preview OSS製品を簡易的にデプロイ可能なContainer Appsのアドオン機能に、 以下3種類の ベクトルDB の対応が追加された。 • Milvus • Qdrant • Weaviate Azure Container Appsのアドオン機能は非運用環境向けの設計で、 本番環境で使うことは非推奨であることに注意。
App Service / Functions のアップデート GA/Preview App Service / Functions で .NET 8 対応がGA。 Ignite前日に開催された .NET Conf で .NET 8自体のGAが発表され、 それに合わせる形でAzure上での対応もGAされた。 Node.js 20 / Python 3.12 の対応も開始。 今後の対応予定として PHP 8.3 / Java 21 対応の予告あり。 App Serviceのバックグラウンドジョブ実行機能のWebJobs機能が Linux / Windows Container 環境にも提供される。 2024年初頭 パブリックプレビュー開始予定。
Functions Flex Consumption Preview 実行した分だけ課金される従量課金プランの新しいモデル。 現在の従量課金プランでは対応していない 仮想ネットワークとの統合 への対応や、 スループット/スケーリング機能の向上、 長時間の実行のサポート といったメリットが挙げられている。 アーリーアクセスの形態でプレビュー開始。 プレビュー利用したい場合は以下フォームから申請が必要。 https://aka.ms/flexconsumption/signup
Development
GitHub Copilot Chat まもなくGA 自然言語でCopilotに問い合わせ、 コード記述の提案や既存コードの要約といったタスクを実行できる。 GitHub Copilotの機能として提供されるため、 既にGitHub Copilotを利用している方は 追加費用なし で利用可能。 12月にGA予定。
GitHub Copilot Enterprise Upcoming 企業内のリポジトリ内のコード/ドキュメントから学習し より組織にマッチした内容を提案する ファインチューニング に対応。 2024年2月より提供開始予定。 画像引用元: Universe 2023: Copilot が GitHub を AI 搭載の開発者プラットフォームに変換
GitHub Copilot Workspace Upcoming Issueの内容から、Copilotが現状のコード分析と改善案の立案を行い、 修正までを自動的に実行可能。 これまでのAI活用開発をさらに先に推し進める、新たな開発スタイル。 画像引用元: Universe 2023: Copilot が GitHub を AI 搭載の開発者プラットフォームに変換
Microsoft Copilot for Azure Preview Azure用のCopilot がついに登場！ 画像引用元: Simplify IT management with Microsoft Copilot for Azure – save time and get answers fast
Microsoft Copilot for Azure Preview Azureに関することを補助するCopilotがポータルに統合される。 • • • • 設計 … 必要なサービスの作成・構成の支援 操作 … コマンドやKustoクエリの作成 トラブルシュート … ドキュメントや既存ツールからの洞察 最適化 … コスト分析と予測、最適化への推奨事項の提案 現在招待制のプレビュー段階。 利用したい場合は以下から申請の必要あり。 https://aka.ms/MSCopilotforAzurePreviewRequest
弊社でのAOAI × PaaS構成事例
モダナイズアセスメントサービス アーキテクチャ
AOAI会議分析・支援サービス アーキテクチャ 会議を録画するだけで、議事作成・分析を通し、アジャイル開発でのサービスのLTV最大化を実現します 会議のレコーディング 動画ファイルをアップロード Azure Container Apps AOAIの処理結果を保存 動画から音声を分離し AOAIへ連携 Blob Storage Azure Functions Azure OpenAI Service 文字起こしと 会話内容の解析
PaaS活用のメリット サーバーの管理や設定といった ビジネスにおいて本質的でないタスクを極小化し、 ビジネスロジックの実装に集中できる。 AIのような新しい要素を用いたサービス開発を素早く行うには、 PaaSの活用が必須 である。
お知らせ
Microsoft Ignite Japan 2023年12月13日(水) 大阪会場 と Teams Live配信 のハイブリッド開催 申し込みサイトは https://aka.ms/ignitejapan.top
弊社ブログのご紹介 https://techblog.ap-com.co.jp/ 「APC 技術ブログ」で検索！
ぜひ X(Twitter) もフォローしてください！ @apc_tweet
© AP Communications Co., Ltd.