Java で開発する OpenAI 連携アプリファーストステップ

2.5K Views

May 30, 24

java spring spring boot java21 spring ai maven github copilot github copilot chat openai openai api spring io spring initializer spring initializer template vs code intellij

スライド概要

【オンライン】 JJUGナイトセミナー「Spring AI特集」5/30(木) 開催
https://jjug.doorkeeper.jp/events/173507

Shotaro Suzuki

@shosuz

スライド一覧

ヴイエムウェア株式会社ソリューションアーキテクト本部プリンシパルエンタープライズアーキテクト。 Microsoft で13年間、テクニカルエバンジェリストとして .NET、Visual Studio、Windows、iOS、Android、Microsoft Azure 等の開発者向け最新技術啓発活動を実施。その後、Dell、Accenture、Elastic で開発者向け技術啓発活動等を経て現職。モダンアプリケーション開発、マルチクラウド対応、アーキテクチャ策定等を中心に、技術者向けに最新技術の啓発活動を実施中。 2019年4月〜2021年8月迄、内閣官房 IT 総合戦略室政府 CIO 補佐官を兼務、2021年9月〜2024年3月迄、デジタル庁 PjM ユニットソリューションアーキテクトを兼務。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 22.5MB)

関連スライド

各ページのテキスト

鈴⽊章太郎 X (Twitter) : @shosuz ヴイエムウェア株式会社プリンシパルエンタープライズアーキテクト Microsoft で13年間、テクニカルエバンジェリストとして .NET、Visual Studio、Windows、iOS、Android、 Microsoft Azure 等の開発者向け技術啓発活動を実施。その後、Dell、Accenture、Elastic での開発者向け技術啓発活動等を経て現職。モダンアプリケーション開発、マルチクラウド対応、アーキテクチャ策定等を中⼼に、開発者向け最新技術啓発活動中。 2019年4⽉〜2021年8⽉、内閣官房 IT 総合戦略室政府 CIO 補佐官、2021年9⽉〜2024年3⽉、デジタル庁ソリューションアーキテクトを兼務。 https://www.docswell.com/user/shosuz All Rights Reserved. The term “Broadcom” refers to Broadcom Inc. and/or its subsidiaries.

https://www.docswell.com/auser/shosuz

プラットフォームの認知度を⾼め、開発者の準備態勢を整えるさまざまな接点とそれらを増やす機会を探りつなげていくマルチクラウド対応の訴求 AI プラットフォームとしての認知向上 Spring の最新技術啓発デベロッパーアドボカシー All Rights Reserved. The term “Broadcom” refers to Broadcom Inc. and/or its subsidiaries. 3

Spring AI - AI と Java コミュニティの連携オープンソース Java である Spring と AI を連携する実験プロジェクトの発⾜ GitHub の紹介⽂より AI には⻑い歴史があるにもかかわらず、Java の役割は⽐較的⼩さいものでした。(中略) Generative AI の最近の進歩により、HTTP を介した事前トレーニングされたモデルとの対話が普及しました。これにより、 ... Java などのプログラミング⾔語の使⽤への道が開かれます。 (中略) https://github.com/springprojects-experimental/springai Spring AI プロジェクトは、AI ドメインの Spring 開発者に同様のエクスペリエンスを提供することを⽬的としています。 All Rights Reserved. The term “Broadcom” refers to Broadcom Inc. and/or its subsidiaries. 6

https://github.com/spring-projects-experimental/spring-ai

https://blogs.vmware.com/vmware-japan/product/spring

https://platform.openai.com/api-keys

10.

https://spring.io/projects

11.

https://spring.io/projects/spring-ai

12.

https://spring.io/projects/spring-ai

13.

https://spring.pleiades.io/spring-ai/reference/

14.

いくつかの簡単なステップでスタート https://spring.io/projects/spring-ai 1. Spring CLI をインストールし、シェルでコマンドを実⾏ spring boot new --from ai --name myai ChatGPT との基本的なやり取りを開始するためのアプリケーションを作成⽣成されたREADMEファイルの指⽰に従ってAPI KEYを取得する 2. アプリケーションを実⾏ ./mvw spring-boot:run 3. エンドポイントを curl ︓ ChatGPTとの基本的なやり取りを開始するためのアプリケーションを作成します。 curl localhost:8080/ai/simple All Rights Reserved. The term “Broadcom” refers to Broadcom Inc. and/or its subsidiaries. 14

15.

Spring Initializer でスタート https://docs.spring.io/spring-ai/reference/ • Language • • Project • • • • All Rights Reserved. The term “Broadcom” refers to Broadcom Inc. and/or its subsidiaries. Java Maven Project Metadata • 適当な名前を設定 • Java 21 Dependencies • Spring Web • OpenAI ダウンロードして IntelliJ 等で開く 15

https://spring.pleiades.io/spring-ai/reference/

16.

Spring Initializer Template でスタート - 1 https://docs.spring.io/spring-ai/reference/ • Language • Java • Project • Maven • Project Metadata All Rights Reserved. The term “Broadcom” refers to Broadcom Inc. and/or its subsidiaries. • 適当な名前を設定 • Java 21 16

https://spring.pleiades.io/spring-ai/reference/

17.

Spring Initializer Template でスタート - 2 https://docs.spring.io/spring-ai/reference/ • Version • 3.2.5 • Dependency • Web – • Spring Web にチェック AI – OpenAI にチェック • そのまま IntelliJ で開く All Rights Reserved. The term “Broadcom” refers to Broadcom Inc. and/or its subsidiaries. 17

https://spring.pleiades.io/spring-ai/reference/

18.

19.

20.

21.

22.

23.

[beta]

ChatController.java の実装 - 1
package dev.shosuz.springaijjug;
import org.springframework.ai.chat.ChatClient;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
@RestController
public class ChatController {
private final ChatClient chatClient;
public ChatController(ChatClient chatClient) {
this.chatClient = chatClient;
}
@GetMapping("/springaijjug")
public String generate(@RequestParam(value = "message",
defaultValue = "Tell me a American Joke!")
String message) {
return null;
}
}
All Rights Reserved. The term “Broadcom” refers to Broadcom Inc. and/or its subsidiaries.

23

24.

25.

26.

27.

[beta]

ChatController.java の実装 – 2
package dev.shosuz.springaijjug;
import org.springframework.ai.chat.ChatClient;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
@RestController
public class ChatController {
private final ChatClient chatClient;
public ChatController(ChatClient chatClient) {
this.chatClient = chatClient;
}
@GetMapping("/springaijjug")
public String generate(@RequestParam(value = "message",
defaultValue = "Tell me a American Joke!")
String message) {
return chatClient.call(message);
}
}

All Rights Reserved. The term “Broadcom” refers to Broadcom Inc. and/or its subsidiaries.

27

28.

29.

30.

31.

32.

参考資料 NVIDIA Fine-Tuned Models NVIDIA Foundation Models INTRODUCING VMware Private AI Foundation with NVIDIA Third party & Community Models NVIDIA RAG LLM Operator NVIDIA GPU Operator NVIDIA NIM NVIDIA NeMo Retriever Deep Learning VMs Vector Database Postgres + pgvector Catalog Setup Wizard GPU Monitoring AI Enterprise Generally Available 選択可能な LLM 3 2 All Rights Reserved. The term “Broadcom” refers to Broadcom Inc. and/or its subsidiaries. ベアメタル並のパフォーマンス迅速な Time-To-Value 32

33.

参考資料 Improved RAG Starter Pack: Path to Building Productiongrade Apps on VMware Private AI Foundation https://core.vmware.com/blog/improved-rag-starter-pack-path-building-production-grade-apps-vmware-private-ai-foundation https://github.com/vmware-private-ai/VMware-generative-ai-reference-architecture/tree/main/Starter-Packs/Improved_RAG All Rights Reserved. The term “Broadcom” refers to Broadcom Inc. and/or its subsidiaries. 33

34.

参考資料 Interop Tokyo 2024 LLM を活⽤して独⾃の⽣成 AI アプリを効率よく安全に開発する⽅法 https://forest.f2ff.jp/introduction/9033?project_id=20240601 ⽣成 AI を社内業務やビジネスに活⽤する動きが急増しています。しかしユースケースに適した独⾃の⽣成 AI アプリを開発するにはプライバシーへの配慮や機密データの取り扱いなど解決すべき課題に直⾯します。本セッションでは有名な LLM を活⽤しつつ安全なプライベート環境で効率よく⽣成 AI アプリを開発する⽅法と、それを実現する基盤についてお話しします。 NVIDIA 社と VMware が共同開発したプライベート AI 基盤「VMware Private AI Foundation with NVIDIA」の最新情報と活⽤メリットをわかりやすくお伝えします。 All Rights Reserved. The term “Broadcom” refers to Broadcom Inc. and/or its subsidiaries. ＜VMware Booth 展⽰内容＞今年の最⼤の⽬⽟は、VMware Private AI Foundation with NVIDIA 初展⽰です。ご期待ください。その他展⽰内容については以下のサイトをご覧ください。 34 https://f2ff.jp/2024/interop/exhibitor/show.php?id=2204&lang=ja

https://f2ff.jp/2024/interop/exhibitor/show.php?id=2204&lang=ja

35.

https://blogs.vmware.com/vmware-japan/product/spring

36.

Agenda Appendix l Azure Spring Apps 概要 l OpenAI/Azure Spring Apps Standard AI ショッピングカートアプリ l Spring AI x Azure Spring Apps Enterprise 新フィットネスストアアプリ l VMware Private AI Foundation with NVIDIA All Rights Reserved. The term “Broadcom” refers to Broadcom Inc. and/or its subsidiaries. 36

37.

38.

Azure Spring Apps Spring Boot マイクロサービス向けの完全なマネージドサービス Azure のエコシステムとサービスの多くの選択肢と完全な統合 Azure Active Directory Azure Monitor DIY with Spring Boot 責務 Azure Spring Apps Service アプリケーションの統合、デバッグ Azure Database for MySQL Azure Cosmos DB CI/CD クラスタのビルドと管理メトリクスログトレーシングサービスバインディング Managed Identities Service Principals Azure Spring Apps Service Runtime User Environment Azure Cache for Redis Spring Cloud ミドルウェアのホストモニタリングとロギング Git リポジトリ Config Source App 1 App 2 App N Config Server Service Registry Lifecycle Mgmt. App Resiliency Log Stream Data Encryption Custom Domain SelfDiagnostics スケーリングパッチ Azure DevOps CI/CD サポート Azure Spring Apps agents GitHub お客様 VMware Microsoft Jenkins All Rights Reserved. The term “Broadcom” refers to Broadcom Inc. and/or its subsidiaries. Azure Kubernetes Service 38

39.

Spring Boot マイクロサービス向けの完全なマネージドサービス Azure エコシステムの⼀部としてストレージ、データベース、監視など他の Azure サービスに簡単にバインドできる • • • • • ユーザーはインフラストラクチャの管理に煩わされることなく、アプリの構築と実⾏に集中できる Spring Boot アプリに JAR やコード、または Steeltoe アプリに ZIP ファイルをデプロイすると、Spring サービスランタイムと組み込みのアプリライフサイクルサポートにアプリが⾃動的に接続される監視が容易であり、デプロイ後、アプリのパフォーマンスを監視し、エラーを修正して、アプリケーションを迅速に改善できる Azure のエコシステムとサービスへの完全な統合フルマネージドインフラストラクチャと組み込みのライフサイクル管理を備えたエンタープライズ対応性あり All Rights Reserved. The term “Broadcom” refers to Broadcom Inc. and/or its subsidiaries. 39

40.

Azure Spring Apps を使⽤する理由アプリケーションを Azure Spring Apps にデプロイして得られる利点 l 既存の Spring アプリを効率的に移⾏し、クラウドのスケーリングとコストを管理 l Spring Cloud のパターンを使⽤したアプリの最新化により、俊敏性とデリバリーのスピードを向上 l クラウド規模で Java を実⾏し複雑なインフラストラクチャなしで使⽤率向上 l コンテナー化の依存関係なしで迅速に開発およびデプロイ l 運⽤ワークロードを効率的かつ簡単に監視 ※ Azure Spring Apps では、Java Spring Boot と ASP.NET Core Steeltoe の両⽅のアプリがサポート All Rights Reserved. The term “Broadcom” refers to Broadcom Inc. and/or its subsidiaries. 40

41.

Steeltoe とは︖ .NET 開発者がマイクロサービスやその他のクラウドネイティブなパターンを実装できるようにするライブラリ群 l Java 向けの Spring Boot と似ており Spring Bootにインスパイアされている l .NET エコシステム向けに特別に設計されており、.NET アプリケーション内で Spring ⾃体を直接使⽤することはできない l 構成管理、サービスディスカバリー、サーキットブレーカーなどの機能を提供することで、マイクロサービスの構築を容易にし、クラウド環境での .NET アプリケーションの開発、デプロイ、管理を容易にする All Rights Reserved. The term “Broadcom” refers to Broadcom Inc. and/or its subsidiaries. 41

42.

OpenAI/Azure Spring Apps Standard AI ショッピングカートアプリ https://learn.microsoft.com/enus/samples/azure-samples/apptemplates-java-openaispringapps/app-templates-javaopenai-springapps/ All Rights Reserved. The term “Broadcom” refers to Broadcom Inc. and/or its subsidiaries. 42

https://learn.microsoft.com/en-us/samples/azure-samples/app-templates-java-openai-springapps/app-templates-java-openai-springapps/

43.

アプリケーションアーキテクチャフロントエンド React アプリをコンテナアプリとしてホストする Azure Container Apps (環境) 及び Azure Spring Apps Standard コンサンプション及び専⽤プラン • AI ショッピングカートサービスを Spring アプリとしてホストする Azure Spring Apps • フロントエンドの Docker イメージをホストする Azure Container Registry • AI ショッピングカートサービスのデータを保存する Azure Database for PostgreSQL (フレキシブルサーバー) • 監視とログ記録を⾏う Azure Monitor • 栄養分析を実⾏し、トップ 3 のレシピを⽣成する Azure OpenAI • azd up コマンドを使⽤して作成される単⼀のリソースグループ (Azure OpenAI は別途デプロイ) デプロイは簡単︕ All Rights Reserved. The term “Broadcom” refers to Broadcom Inc. and/or its subsidiaries. https://learn.microsoft.com/en-us/samples/azure-samples/app-templates-java-openai-springapps/app-templates-java-openai-springapps/ 43

44.

https://github.com/azure-samples/app-templates-java-openai-springapps/tree/main/

45.

Azure OpenAI Service のデプロイ Portal で先にデプロイしておき (GPT-3.5 or GPT-4)、それを azd コマンド実⾏時にセットする # Set the environment variables for Azure OpenAI • azd env set azureOpenAiApiKey <replace-with-Azure-OpenAi-API-key> • azd env set azureOpenAiEndpoint <replace-with-Azure-OpenAi-endpoint> • azd env set azureOpenAiDeploymentId <replace-with-Azure-OpenAi-deployment-id/name> # To use GPT-3.5 Turbo model set this environment variable to false • azd env set isAzureOpenAiGpt4Model true All Rights Reserved. The term “Broadcom” refers to Broadcom Inc. and/or its subsidiaries. 45

46.

Demo Java/OpenAI/Azure Spring Apps AI ショッピングカートアプリ https://learn.microsoft.com/enus/samples/azure-samples/apptemplates-java-openai-springapps/ All Rights Reserved. The term “Broadcom” refers to Broadcom Inc. and/or its subsidiaries. 46

https://learn.microsoft.com/en-us/samples/azure-samples/app-templates-java-openai-springapps/app-templates-java-openai-springapps/

47.

48.

Azure Spring Apps ランディングゾーンアクセラレータ多⾔語アプリケーションのデプロイ、Tanzu コンポーネントのサポート、SLA 保証を求める場合に最適 https://github.com/Azure/azure-spring-apps-landing-zone-accelerator l Azure Spring Apps ランディングゾーンアクセラレータ（Spring Boot アプリケーションをデプロイするために使⽤できるAzure Spring Apps リファレンスアーキテクチャを作成する⼿順）を参照 l 運⽤対応インフラストラクチャのプロビジョニングと、Spring Boot および Spring Cloud アプリの Azure Spring Apps へのデプロイを合理化するように設計されたアーキテクチャガイダンスを提供 l ワークロード所有者は、ランディングゾーンアクセラレータで提供されるアーキテクチャガイダンスを使⽤して、⾃信を持って⽬標の技術的状態を達成 All Rights Reserved. The term “Broadcom” refers to Broadcom Inc. and/or its subsidiaries.

49.

Spring AI x Azure Spring Apps 新フィットネスストアアプリ https://learn.microsoft.com/jajp/azure/springapps/enterprise/quickstart-fitnessstore-azure-openai All Rights Reserved. The term “Broadcom” refers to Broadcom Inc. and/or its subsidiaries. 49

https://learn.microsoft.com/ja-jp/azure/spring-apps/enterprise/quickstart-fitness-store-azure-openai

50.

Azure Spring Apps Enterprise = Tanzu Application Platform as a Service Kubernetes 上の開発者体験を向上するアプリケーションプラットフォーム https://learn.microsoft.com/ja-jp/azure/spring-apps/overview#enterprise-plan デベロッパーの⽣産性向上⾼速なビルドと持続可能な本番環境へのパスデベロッパーとインフラエンジニアの仕事を調整 ↑ AKS、EKS、GKE、TKG、その他殆どの K8s クラスターで稼働 All Rights Reserved. The term “Broadcom” refers to Broadcom Inc. and/or its subsidiaries. 50

https://learn.microsoft.com/ja-jp/azure/spring-apps/overview

51.

開発者の⽣産性向上標準環境の構築により、開発チーム全体の標準化を促進、チームの⽣産性を向上 l プロジェクト開始にどれくらいの期間を要していますか︖ n 開発チームの標準ポータル l 開発環境の構築にどれくらいの期間を要していますか︖ n アプリケーションの標準テンプレート l プロジェクト標準はお持ちですか︖ n アプリケーションフレームワーク (Spring) n 開発者の⽣産性を阻害しない開発環境 • アプリケーションの標準テンプレート ü 多様な⾔語によるプロジェクトの標準テンプレートにより、プロジェクトの開始をスムーズに ü 雛形のコードを⾃動⽣成 All Rights Reserved. The term “Broadcom” refers to Broadcom Inc. and/or its subsidiaries. • 組織カタログ、API ポータル、ツールアドイン他 ü 標準 API やデータアクセスのためのポータルを提供 ü Visual Studio Code, Visual Studio, IntelliJ ⽤拡張機能 51

52.

フィットネスストアサンプルアプリの概要 https://learn.microsoft.com/ja-jp/azure/spring-apps/enterprise/quickstart-sample-app-acmefitness-store-introduction • ドメインごとに分割された次のサービスで構成 • • • • 4 つの Java Spring Boot アプリケーション: • カタログサービス、使⽤可能な製品をフェッチするための API • 決済サービス、ユーザーの注⽂に対する⽀払いを検証および処理 • ID サービスは、認証されたユーザーへの参照を提供 • Assist Service、フィットネスストアに AI 機能を提供 1 つの Python アプリケーション: • カートサービス、購⼊⽤に選択されたユーザーのアイテムを管理 1 つの ASP.NET Core アプリケーション: • 注⽂サービス、ユーザーのカートにある製品を購⼊するように注⽂ 1 つの NodeJS と静的 HTML のアプリケーション: • フロントエンド、他のサービスに依存するショッピングアプリケーション All Rights Reserved. The term “Broadcom” refers to Broadcom Inc. and/or its subsidiaries. 52

https://learn.microsoft.com/ja-jp/azure/spring-apps/enterprise/quickstart-sample-app-acme-fitness-store-introduction

53.

フィットネスストアサンプルアプリのデプロイ⼿順 https://learn.microsoft.com/ja-jp/azure/spring-apps/enterprise/quickstart-deploy-apps-enterprise • • • • • • • • アプリのビルドとデプロイシングルサインオンの構成 Azure Database for PostgreSQL と Azure Cache for Redis を統合 Key Vault を使⽤してアプリケーションシークレットを読み込むアプリケーションをエンドツーエンドで監視する要求レートの制限を設定する配置の⾃動化 Azure Open AI を統合する All Rights Reserved. The term “Broadcom” refers to Broadcom Inc. and/or its subsidiaries. 53

54.

Demo Enterprise 向け新フィットネスアプリご紹介 https://learn.microsoft.com/ja-jp/azure/springapps/enterprise/quickstart-deploy-apps-enterprise https://learn.microsoft.com/ja-jp/azure/springapps/enterprise/quickstart-fitness-store-azure-openai All Rights Reserved. The term “Broadcom” refers to Broadcom Inc. and/or its subsidiaries. 54

55.

Java で開発する OpenAI 連携アプリファーストステップ

Shotaro Suzuki

関連スライド

GitHub Copilot & Copilot Chat で Java コーディングを最大限効率化する-配布用

Azure OpenAI Service 概要とサンプルアプリ等のご紹介

新たな AI 駆動開発の潮流(SWE Agent, AutoDev,Devin, GitHub Copilot Workspace等)

VS Code 拡張機能を活用した AI 駆動フロントエンド開発 - 実践編

最新の React/TypeScript SPA テンプレートを .NET 8 で試してみよう

VSCode、GitHub Copilot Chat で Web アプリを開発してみよう - 2

各ページのテキスト