Azure AI Hub meetup #1 Azure AI ことはじめ

Azure AI Hub meetup #1 Azure AI ことはじめ AIエンジニア 加納 邦彦

アジェンダ

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved アジェンダ  自己紹介  会社紹介  HEROZ ASK紹介  Azure導入  Azure OpenAI Service導入  現在地 3

自己紹介

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved 自己紹介 主な実績 2020 チームdlshogi ・第一回世界将棋AI電竜戦 GCT電竜 優勝 2021 ・第二回世界将棋AI電竜戦 GCT電竜 優勝 dlshogi 準優勝 2022 dlshogi with HEROZ AIエンジニア 加納 邦彦 ・第32回世界コンピュータ将棋選手権 優勝 ・第三回世界将棋AI電竜戦 準優勝、3位 ・大手SIerで、業務アプリケーション開 発とクラウド／ビッグデータ／機械学習 系のインフラ構築。 ・チャットボット系企業で、データ分析 ／機械学習基盤開発。 ・HEROZ入社後、将棋／生成AIサービ スの開発。 ・ディープラーニングを研究対象に、 趣味で将棋AI「GCT」を開発。 ・第33回世界コンピュータ将棋選手権 優勝 2023 5

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved 自己紹介 主な仮想化・クラウド基盤利用実績 2011 ・Citrix/VMware/Hyper-V ・Hadoop 2012 ・KVM/VMware 2015 ・AWS 2017 ・Citrix/VMware 2018 ・Hadoop/Spark ・AWS/Azure 2020 ・AWS/GCP/IBM Cloud/Heroku/Treasure Data 2022 ・Alibaba Cloud 2023 ・GCP/Azure 6

会社紹介

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved HEROZの強み 少ないコンピューティングリソースでも強いAIを作れる技術力が強み 将棋AI 指し手の可能性＝約10220 チェスAI 指し手の可能性＝約10120 IBM HEROZ DeepBlueが人間に勝利 （‘97） 囲碁AI 指し手の可能性＝約10320 Google AlphaGoがプロ棋士に勝利（‘16） ponanzaが現役プロ棋士に勝利（‘13） 8

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved 事業領域 B to C B to B 金融 700万人突破「将棋ウォーズ」 AIによる将棋革命から将棋 人口の最大化 将棋のAIで培った 技術と事業ノウハウを AI技術 探索 深層学習 強化学習 エンターテイメント 建設 各産業の知見・AI×データで 社会のDXを支援 分散処理 社会実装へ推進 9

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved 会員数700万人突破の将棋ウォーズを支えるAI活用 棋神降臨 棋神解析 対局中に将棋AIが5手 代わりに指してくれます。 対局後の解析では 形勢判断や局面の最善手を 教えてくれます。 将棋通も感想戦として活用 強敵に勝利するチャンスとして 活用したり、AIの指し手を知見と して蓄積することも可能！ 精密解析 いつでもお気に入りの対局か ら自分の現状の棋力を数値で 確認できます。 相手に関係なくユーザーが良い将 棋を指せているかを判断！ ユーザーの特徴を早指・序盤・ 中盤・終盤・安定・棋神（勝負強 さ）をグラフで表示！ 1局の形勢（どちらが有利か） の推移をグラフで表示！ 局面での最適な一手を表示！ 対局相手 対戦相手として ユーザーのレベルに応じた 強さの将棋AIと ランダムに対局できます。 dlshogi,PonanzaやApery等 有名な将棋AIとの対戦も可能！ 10

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved 将棋AIを社会実装 棋神アナリティクス 世界コンピュータ将棋選手権2 連覇の最強AIをWebブラウザ で手軽に提供 PC/スマホからどこでも解析。将棋 ウォーズ連携で1秒解析開始可能。 棋神スキャン スマートフォンのカメラを使 い、将棋の盤面を撮影するこ とで、 AIが将棋盤・駒を認 識。 入力の手間を省き、より簡単に、 より迅速に局面分析を開始するこ とができます。 棋神ラーニング 将棋をゼロからスタートして初 段を目指すeラーニングサービス。 将棋ファン拡大、将棋ウォーズ ユーザ増加に寄与。 メディアで活躍中の人気棋士が 動画でわかりやすく解説！ HEROZ Kishin Eye 人手で行う棋譜記録を、AIが 将棋盤・駒を認識し無人化。 記録係の慢性的な人材不足の 課題解決し、生産性向上、将 棋という伝統文化の普及発展 に貢献。 日本将棋連盟の女流棋士棋戦から導入開始。 2023年6月からは男性棋戦でも開始。 11

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved AIを各産業へ社会実装 竹中工務店様 東洋エンジニアリング様 アイリスオーヤマ様 ～空間制御システム～ ～EPC強靭化システム～ ～販売予測～ 保有国内株式に基づく 銘柄提案AI 構造設計の業務を 高速化するAI 2019年3月～ 稼働中 コンストラクタビ リティに関する リスク検知AI 快適性と省エネのバランス を制御するAI 商品の販売予測AI 2020年10月～ 稼働中 竹中工務店様 SMBC日興証券様 ～構造設計～ ～株式ポートフォリオ診断～ 12

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved 国内最大規模のGPU環境を構築（2023年8月時点） 61PFLOPSの計算開発環境（業務外でも利用可！） 2018年11月 GPU(NVIDIA V100×128基)導入 2020年2月 CPU(Supermicro ブレードサーバー×20ノード)導入 2020年11月 CPU(Supermicro ブレードサーバー×80ノード)導入 2021年4月 GPU(NVIDIA A100×72基)導入 2023年12月予定 GPU(NVIDIA H100×8基)導入 参考：https://heroz.co.jp/release/2023/09/29_press02/ 一緒に遊ぶ働く仲間を募集します！ 13

• https://heroz.co.jp/release/2023/09/29_press02/

HEROZ ASK紹介

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved 「HEROZ ASK」サービス概要 エンタープライズ向けの“AIアシスタント”SaaSサービス 「ASK = Always Seek Knowledge」 いつでも相談！社内文書・音声データ活用の決定版Q&Aシステム 企業様向けの充実したセキュリティ管理機能 ✔ 組織／個人毎に参照データの権限管理ができます ✔ 自社データが生成AIの学習に使われずに安心して利用できます 自社ノウハウとChatGPTの英知をフル活用したオールインワンQ&A環境 自社ドキュメントから回答 ChatGPTと会話 社内文書や音声データの 「要約・翻訳・質問」 15

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved HEROZ ASK 利用イメージ 直感的なUIと合わせて、LLMを自社固有の情報を用いてカスタマイズして使えるような基本的な 機能は全て備えています。 AzureAD連携 プロジェクト管理 専門知識に基づく応答 モデルの選択 ドキュメント の登録 引用元の表示 プロンプトの 登録・編集 シンプルな ChatUI 16

Azure導入

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved Microsoft Learn すべてのコース、ラーニング パス、モジュールを参照する - Training | Microsoft Learn 製品やキャリア パス別に豊富なドキュメント。 本番導入のために、最低限どれくらい学ばないといけないのか？ 18

• https://learn.microsoft.com/ja-jp/training/browse/?products=azure

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved 豊富なクイックスタートや自習形式トレーニング Azure での仮想マシン - Azure Virtual Machines | Microsoft Learn Azure Portal のサービスや項目が、 CLI/PowerShell/Terraform/Bicep/ARM テンプレート等の 自動化ツールに対応していない場合、Azure Portal から手動で設定。 19

• https://learn.microsoft.com/ja-jp/azure/virtual-machines/

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved Azure アーキテクチャ センター AWS サービスと Azure サービスの比較 - Azure Architecture Center | Microsoft Learn 大抵のクラウドでは、AWSサービスとの比較ドキュメントがある。 20

• https://learn.microsoft.com/ja-jp/azure/architecture/aws-professional/services

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved Azure アーキテクチャ センター AWS サービスと Azure サービスの比較 - Azure Architecture Center | Microsoft Learn クラウドによっては、自社に存在するサービスのみ比較するケースがあるため、注意。 21

• https://learn.microsoft.com/ja-jp/azure/architecture/aws-professional/services

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved Public Cloud Services Comparison https://comparecloud.in/ 類似のサービスが移行先のクラウドにあるか確認すると安心。 22

• https://comparecloud.in/

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved AWS履修者のためのAzure入門 Azureのみに存在する独自の概念や仕様に注意。 →意図せず自動作成されるリソースに注意。 https://speakerdeck.com/beex/awslu-xiu-zhe-notamenoazureru-men 23

• https://speakerdeck.com/beex/awslu-xiu-zhe-notamenoazureru-men

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved 廃止されるサービス 非推奨がアナウンスされ、気付かないうちにデプロイ不可になる。 バージョンが違うと、料金体系も異なる。 Application Gateway V1 SKU は、2026 年 4 月に廃止されます - Azure Application Gateway | Microsoft Learn 24

• https://learn.microsoft.com/ja-jp/azure/application-gateway/v1-retirement

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved 廃止されるサービス 新規構築すると移行が必要なことがわかる。 Log Analytics エージェントの概要 - Azure Monitor | Microsoft Learn 25

• https://learn.microsoft.com/ja-jp/azure/azure-monitor/agents/log-analytics-agent

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved 廃止されるサービス レガシエージェントに対応していないOSは移行しないと、 セキュリティスコアが下がる。 Log Analytics エージェントの概要 - Azure Monitor | Microsoft Learn 26

• https://learn.microsoft.com/ja-jp/azure/azure-monitor/agents/log-analytics-agent

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved 適用を推奨されるサービス 高額のサービスを対応しないとセキュリティスコアが下がる。 →セキュリティ要件や費用対効果見合いで導入を検討する。 Azure DDoS Protection の価格 | Microsoft Azure 27

• https://azure.microsoft.com/ja-jp/pricing/details/ddos-protection/

Azure OpenAI Service導入

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved Microsoft Learn すべてのコース、ラーニング パス、モジュールを参照する - Training | Microsoft Learn 製品やキャリア パス別に豊富なドキュメント。 本番導入のために、最低限どれくらい学ばないといけないのか？ 29

• https://learn.microsoft.com/ja-jp/training/browse/?products=azure&roles=ai-engineer

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved Azure OpenAI Champのスライド ChatGPT - Azure OpenAI 大全 - Speaker Deck 更新され続けるスライド（147ページ） 30

• https://speakerdeck.com/hirosatogamo/chatgpt-azure-openai-da-quan

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved Azure OpenAI Service (AOAI) リファレンスアーキテクチャ 増えていく賛同パートナーと導入事例 Azure OpenAI Service リファレンスアーキテクチャ (microsoft.com) 31

• https://www.microsoft.com/ja-jp/biz/find-new-value-on-azure/ai-biz.aspx

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved LangChain OpenAIの新機能やOSS再現実装が 最短当日に導入されるLLM活用フレームワーク GitHub - langchain-ai/langchain: ⚡ Building applications with LLMs through composability ⚡ 32

• https://github.com/langchain-ai/langchain

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved Azure OpenAI Service OpenAIとAzure OpenAIの非互換 Python を使用して OpenAI エンドポイントと Azure OpenAI Service エンドポイントを切り替 える方法 - Azure OpenAI Service | Microsoft Learn 33

• https://learn.microsoft.com/ja-jp/azure/ai-services/openai/how-to/switching-endpoints

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved Azure OpenAI Service OpenAIとAzure OpenAIの非互換 Python を使用して OpenAI エンドポイントと Azure OpenAI Service エンドポイントを切り替 える方法 - Azure OpenAI Service | Microsoft Learn 34

• https://learn.microsoft.com/ja-jp/azure/ai-services/openai/how-to/switching-endpoints

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved Azure OpenAI Service OpenAIとAzure OpenAIの非互換 ～version 0.28.1 から version 1.x へのアップグレード～ OpenAI Python v1.x に移行する方法 - Azure OpenAI Service | Microsoft Learn 35

• https://learn.microsoft.com/ja-jp/azure/ai-services/openai/how-to/migration?tabs=python,dalle-fix

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved LangChain OpenAIとAzure OpenAIの非互換 ～環境変数やパラメータが独自進化するLangChain～ langchain/libs/langchain/langchain/chat_models/azure_openai.py at master · langchainai/langchain · GitHub 36

• https://github.com/langchain-ai/langchain/blob/master/libs/langchain/langchain/chat_models/azure_openai.py

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved LangChain OpenAIとAzure OpenAIの非互換 ～環境変数やパラメータが独自進化するLangChain～ langchain/libs/langchain/langchain/chat_models/azure_openai.py at master · langchainai/langchain · GitHub 37

• https://github.com/langchain-ai/langchain/blob/master/libs/langchain/langchain/chat_models/azure_openai.py

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved Azure OpenAI Service 新規デプロイできない/上限緩和申請が通らないGPT-4 →東日本リージョンを使いたい。 Azure OpenAI Service モデル - Azure OpenAI | Microsoft Learn 38

• https://learn.microsoft.com/ja-jp/azure/ai-services/openai/concepts/models

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved Azure OpenAI Service 可用性向上のために、リージョン冗長できないモデル Azure OpenAI Service モデル - Azure OpenAI | Microsoft Learn 39

• https://learn.microsoft.com/ja-jp/azure/ai-services/openai/concepts/models

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved Azure OpenAI Service 可用性向上のために、リージョン冗長できないモデル Azure OpenAI Service モデル - Azure OpenAI | Microsoft Learn 40

• https://learn.microsoft.com/ja-jp/azure/ai-services/openai/concepts/models

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved Azure OpenAI Service リージョンごとに異なるクォータ制限 Azure OpenAI Service のクォータと制限 - Azure AI services | Microsoft Learn 41

• https://learn.microsoft.com/ja-jp/azure/ai-services/openai/quotas-limits

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved Azure OpenAI Service API Managementの制限 Azure OpenAI 大規模言語モデルのログと監視を実装する - Azure Architecture Center | Microsoft Learn 42

• https://learn.microsoft.com/ja-jp/azure/architecture/ai-ml/openai/architecture/log-monitor-azure-openai

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved Azure OpenAI Service API Managementの制限（応答文字数に 8,192 の制限） GPT-4-32KやGPT-4-Turbo-128Kはどうする？ →データベースに格納する？Azure Event Hubs経由で書き出す？ Azure OpenAI 大規模言語モデルのログと監視を実装する - Azure Architecture Center | Microsoft Learn 43

• https://learn.microsoft.com/ja-jp/azure/architecture/ai-ml/openai/architecture/log-monitor-azure-openai

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved Azure OpenAI Service streaming = trueの時は、usageが記録されない。 →入力/出力token数のカウントや料金集計をどうする？ Azure OpenAI 2023-07-01-preview streaming = true token count · Issue #25062 · Azure/azure-rest-api-specs · GitHub 44

• https://github.com/Azure/azure-rest-api-specs/issues/25062

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved LangChain streaming = trueの時は、usageが記録されない。 →LangChainは対応していない。 独自コールバックを実装する必要がある。 get_openai_callback dosen't work with streaming = True · Issue #4583 · langchainai/langchain · GitHub 45

• https://github.com/langchain-ai/langchain/issues/4583

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved LangChain streaming = trueの時は、料金計算されない。 →LangChainは対応していない。 独自コールバックを実装する必要がある。 langchain/libs/langchain/langchain/callbacks/openai_info.py at master · langchainai/langchain · GitHub 46

• https://github.com/langchain-ai/langchain/blob/master/libs/langchain/langchain/callbacks/openai_info.py

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved LangSmith streaming = trueの時は、usageが記録されない。 →LangSmith (LangChain) は対応している。 →エンタープライズ機能はOSS公開されない。有償機能になるか？ LangSmith (langchain.com) 47

• https://www.langchain.com/langsmith

現在地

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved OpenAI DevDay/Microsoft Ignite 2023後に変わった世界 • • • New models and developer products announced at DevDay (openai.com) マイクロソフト Ignite 2023 ニュースブック (microsoft.com) Applying OpenAI's RAG Strategies (langchain.dev) ～2023年11月6日 2023年11月7日～ OpenAI DevDay、 Microsoft Ignite 2023後 2023年11月30日 現在地 • GPT-4 32Kが高い。 • Amazon Bedrock(Anthropic Claude 2 100K)を使った方が 安い？精度が出る？ • GPT-3.5 Turbo 16K、GPT-4 Turbo 128Kが安い。 • 従来モデルよりも速く、精度 が出るならこれでいい？ • OpenAI/Azure OpenAI Serviceに 依存するのはどうか？ • Amazon Bedrock(Anthropic Claude 2.1 200K)を使った方がい い？ • マルチモーダル対応はどうす る？ • OSSモデル（LLaVA等）を学習 する？GPUコストどうする？ • マルチモーダル対応は、 Azure OpenAI Serviceが API/東日本リージョン対応す るのを待つ？ • OpenAI APIを使う？ • マルチモーダル対応は、Azure OpenAI ServiceがAPI/東日本リー ジョン対応するのを待つ？ • OpenAI は新機能リリース直後の障 害が多い。それでもOpenAI APIを 使う？ 例） • GPT-4 Turbo with vision • DALL·E 3 • Whisper v3 • 既存のデータ資産はどうする？ • Google Cloud BigQueryと Vertex AI連携する？ • Google Cloud BigQueryと OpenAI連携する？ • Google Cloud BigQueryとVertex AI連携する？ 49

• https://openai.com/blog/new-models-and-developer-products-announced-at-devday
• https://news.microsoft.com/ignite-2023-book-of-news/ja/
• https://blog.langchain.dev/applying-openai-rag/

©2023- HEROZAll AllRights right Reserved ©2023-HEROZ Reserved OpenAI DevDay/Microsoft Ignite 2023後に変わった世界 • • • New models and developer products announced at DevDay (openai.com) マイクロソフト Ignite 2023 ニュースブック (microsoft.com) Applying OpenAI's RAG Strategies (langchain.dev) ～2023年11月6日 2023年11月7日～ OpenAI DevDay、 Microsoft Ignite 2023後 2023年11月30日 現在地 • GPT3.5 Turboのファイン チューニングモデルが高い。 • OSSモデル（Llama 2）をファ インチューニングする？GPUコ ストどうする？ • GPT3.5 Turboのファイン チューニングモデルが安い。 • GPT-3.5に比べて、（元の精 度が高い）GPT-4 Turboの ファインチューニングは労力 がかかる。 • OpenAIはRAGで精度向上して いる。 • ファインチューニングとRAGどちら が精度出る？ • 独自モデルを学習する？ • データセットはどうする？ • GPU学習、推論コストはどうする？ • どうやってサービスの組み込む？ • ビジネスになる？ 50

• https://openai.com/blog/new-models-and-developer-products-announced-at-devday
• https://news.microsoft.com/ignite-2023-book-of-news/ja/
• https://blog.langchain.dev/applying-openai-rag/

AI革命を起こし、未来を創っていく