TIER_IV_Co-MLOps_AWS_Haribara

自動運転AI開発を加速させるCo-MLOps AWS の生成 AI サービス 最新アップデートと事例 針原 佳貴 シニア スタートアップ ML/Quantum ソリューションアーキテクト AWS Japan © 2024, Amazon Web © 2024, Services, Amazon Inc. or Web its Services, affiliates.Inc. All or rights its affiliates. reserved.All Amazon rights Confidential reserved. Amazon and Trademark. Confidential and Trademark. 1

Speaker: 針原佳貴, Ph.D. AWS Japan シニア スタートアップ ML/Quantum ソリューションアーキテクト 大阪大学 量子情報・量子生命研究センター (QIQB) 招へい准教授 • 略歴 • 2013年 大阪大学 理学部 数学科卒業 • • 2018年 東京大学 大学院 情報理工学系研究科 博士課程修了 • • ドラム振動の数値シミュレーション (Bessel 関数) 🥁 量子光学デバイスと FPGA を用いた組合せ最適化問題のアクセラレータ 🧑🎓 2018年 AWS Japan 新卒入社 • • • ボケて電笑戦 (2022) AWS LLM 開発支援プログラム (2023) 経産省 GENIAC 第2期 支援 (2024) X @_hariby • 好きな AWS サービス: Amazon Bedrock, Amazon SageMaker, Amazon Braket, Amazon EC2 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 2

• https://aws.amazon.com/jp/blogs/startup/report-summit-2022-bokete-denshosen/
• https://aws.amazon.com/jp/blogs/news/llm-development-support-program-generative-ai-program-results/
• https://aws.amazon.com/jp/blogs/news/geniac-cycle2-kick-off/

AWS Generative AI Stack APPLICATIONS TO BOOST PRODUCTIVITY Amazon Q Business Amazon Q Developer INSIGHTS AND AUTOMATION SOFTWARE DEVELOPMENT LIFECYCLE MODELS AND TOOLS TO BUILD GENERATIVE AI APPS Amazon Bedrock AMAZON MODELS | PARTNER MODELS INFRASTRUCTURE TO BUILD AND TRAIN AI MODELS Amazon SageMaker MANAGED INFRASTRUCTURE AWS Trainium AWS Inferentia GPUs HIGH PERFORMANCE COMPUTE © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 3

Amazon Nova Foundation Models State-of-the-art foundation models that deliver frontier intelligence and industry leading price performance. Understanding models Creative content generation models Amazon Nova Micro Amazon Nova Lite Amazon Nova Pro Amazon Nova Premier Amazon Nova Canvas Amazon Nova Reel Our text only model that delivers the lowest latency responses at very low cost Our lowest cost multimodal model that is lightning fast for lightweight tasks Our highly capable multimodal model with best combination of accuracy, speed, and cost for a wide range of tasks Our most capable multimodal model for complex reasoning tasks and for use as the best teacher for distilling custom models State-of-the-art image generation model State-of-the-art video generation model COMING SOON GENERALLY AVAILABLE GENERALLY AVAILABLE GENERALLY AVAILABLE GENERALLY AVAILABLE GENERALLY AVAILABLE Increasing Intelligence Lower Cost & Latency © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 4

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 8

Text to image Generate images from text prompts A portrait of a smiling young woman with long, flowing hair, standing in natural sunlight © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 9

Automatic editing - inpainting Mask-free editing Mask prompt: “lake” Text prompt: “field with fence” © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 10

Automatic editing - outpainting Generate different backgrounds Mask prompt: “coffee maker” Text prompt: “a coffee maker in a sparse stylish kitchen, plate of pastries next to the coffee maker, a single cup of coffee” © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 11

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 12

Text to video “Cinematic dolly shot of a juicy cheeseburger with melting cheese, fries, and a condensation-covered cola on a worn diner table. Natural lighting, visible steam and droplets. 4k, photorealistic, shallow depth of field” © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 13

Text to video “Static shot of a fireplace in nature; fire animation; 4k; Cinematic; at night; peaceful; highest quality; dolly in;” © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 14

Text to video “Closeup of a large seashell in the sand, gentle waves flow around the shell. Camera zoom in.” © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 15

Image to video “Dolly forward over a gentle river” © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 16

Image to video “Dolly forward” © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 17

Amazon Bedrock BROAD CHOICE OF MODELS Effective reasoning & rapid analysis for long context windows Frontier multimodal intelligence at lowlatency, Agent & RAG Applications, high-quality image & video generation Advanced reasoning & coding capabilities, including computer use skills Multimodal search & advanced retrieval powering multilingual knowledge agents High-quality video generation from text & images Advanced image & language reasoning Knowledge summarization, expert agents, & code completion Software engineering AI for large enterprises High-quality AI image generation, easily deployable at scale JAMBA AMAZON NOVA CLAUDE COMMAND LUMA RAY 2 LLAMA MISTRAL MALIBU STABLE DIFFUSION MIXTRAL POINT STABLE IMAGE EMBED RERANK Coming soon © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Coming soon

• Streamline development workflows with a unified console experience • Deploy models on managed endpoints with custom scaling policies Discover, test, and use over 100 popular, emerging and specialized models in Amazon Bedrock © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. • Leverage Amazon Bedrock’s APIs, tools, and security 22

Amazon Bedrock Marketplace Preferred Networks PLaMo Stockmark LLM 13B KARAKURI LM 8x7B Instruct CyberAgent CALM3 22B Chat © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.

Match the performance of advanced models with costefficient models for your use case with Model Distillation Prompts Advanced model (teacher) Responses Fine-tuned cost-efficient model (student) © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Distilled model

Master complex workflows with specialized agents tackling challenging tasks Achieve high accuracy using agents with domain expertise for reliable results Enables developers to build, deploy, and manage multiple specialized agents working together seamlessly to address increasingly complex business workflows © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Boost efficiency as multi-agents accelerate tasks through parallel processing Effortlessly scale by using agents that adapt to evolving business needs smoothly

(preview) Automatically route prompts to different foundation models to optimize response quality and lower costs Provides a single endpoint to efficiently route prompts Uses advanced prompt matching techniques to meet cost and latency thresholds Reduce costs by up to 30% © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. (preview) Cache repetitive context in prompts across multiple API calls Securely cache entire prompts Enhance accuracy through longer, detailed prompts Reduce costs by up to 90% and latency by up to 85% for supported models

Supported AWS Regions in Amazon Bedrock EUROPE N AMERICA Canada Central GovCloud US-West Northern Virginia Oregon US-East Ohio Frankfurt ASIA PACIFIC Ireland* Mumbai London Singapore* Paris Sydney Zurich Tokyo Seoul S AMERICA São Paulo Available Region © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. *Gated 27

NEW The next generation of Amazon SageMaker The center for all your data, analytics, and AI © 2024 Amazon Web Services, Inc. or its affiliates. All rights reserved | 28

Amazon SageMaker Data Processing SQL Analytics Model Development Gen AI App Development Streaming Search Business Intelligence comingsoon comingsoon comingsoon Data & AI Governance Lakehouse © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2024 Amazon Web Services, Inc. or its affiliates. All rights reserved | 29

© 2024 Amazon Web Services, Inc. or its affiliates. All rights reserved | 30

© 2024 Amazon Web Services, Inc. or its affiliates. All rights reserved | 32

© 2024 Amazon Web Services, Inc. or its affiliates. All rights reserved | 34

LEADING INFERENCE PERFORMANCE Llama 3.1 405B on Trn2 TIME TO OUTPUT 100 TOKENS Total Response Time (s) 20 15 13.9 10 5 0 6.2 3.9 ck edro B n o z ed Ama Optimiz ncy Late e Azur rtex le Ve Goog © 2024 Amazon Web Services, Inc. or its affiliates. All rights reserved | 35

With latency-optimized inference on Amazon Bedrock, © 2024 Amazon Web Services, Inc. or its affiliates. All rights reserved | 36

Amazon EC2 Third generation EFA with 35% improvement in latency over prior generation 1.7x increase in HBM and a 1.5x HBM bandwidth over P5 instances © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Up to 1.8x token throughput for LLM inference vs. P5 Powered by Nvidia H200 GPUs © 2024 Amazon Web Services, Inc. or its affiliates. All rights reserved | 37

日本の生成 AI 事例 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 38

Sakana AI • EC2 インスタンス (On-demand, Capacity Blocks for ML) の利用により研究を推進、 Anthropic Claude など Amazon Bedrock の基盤モデルを活用し POC • 「コンピュータに解空間を検索させることができれば、それは勝利を意味します。 人間が手作業でそれをやろうとしても、コンピュータに勝つことはできません。 なぜなら、コンピュータは、人間よりも速く実行したり、より多くのことを試し たりでき、より忍耐強いからです」 — CTO Llion Jones 氏 • 「AWS は当社のワークロードと、当社が達成しようとしていることを深く理解し てくれています。キャパシティの問題などの課題を迅速に克服するのをサポート してくれました」「当社は非常に小規模なチームであるため、クラスターをセッ トアップするプラットフォームエンジニアがいませんでした。AWS サービスは非 常に使いやすく、研究をシンプルに進められるようになりました」 — Research Scientist 秋葉 拓哉 氏 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. https://aws.amazon.com/startups/learn/letting-nature-lead-how-sakana-ai-is-transforming-model-building 39

• https://aws.amazon.com/startups/learn/letting-nature-lead-how-sakana-ai-is-transforming-model-building

01. データ⼊⼒⽀援 (4/15) 株式会社第⼀興商: Amazon Bedrock でヘルプデスク問い合せ対応の作業軽減を検証 お客様プロフィール ビジネスの課題 ソリューション 導⼊効果 ヘルプデスクでは、DAM に関する 問い合わせが 1 ⽇約 300 件、 15 名体制で対応 • ヘルプデスクの録⾳データを • AWS 未経験で⼊社 1 か⽉の新⼈の • 受電後の⼿作業での会話内容の⼊⼒ 負荷と内容のばらつきが課題である • 更に、書き起こされた⽂章を、 • カラオケ機器は 24 種類、デンモク は 10 種類あり、知識習得・品質維 持のためにナレッジベースを作成し たい • INDUSTRY 娯楽・エンタメ COUNTRY ⽇本 株式会社第⼀興商は、業務⽤ カラオケ事業、カラオケ・飲 ⾷店事業、パーキング事業、 ⾳楽ソフト事業を展開してい る。業務⽤カラオケ DAM は 業界トップシェアを誇る。 Amazon Transcribe で⽂字起こし し、録⾳を聞き直す⼿間を省いた Amazon Bedrock で要約すること で対話形式へ⾃動成形した ⽅が約 3 週間で検証を実施 • 検証の結果、⾳声認識の精度が⾼く、 モノラル⾳声でも話者の識別が出来 た。約 9 割は基準を満たす良好な結 果となり、実導⼊による作業軽減が 期待できる • 今後は更に要約を元にしたナレッジ ベース作成を検討したい の技術が「⾔葉⾜らずの営業マンとヘルプデスクの会話」 “AWS を⾒事に要約、精度に驚きを実感。同時に新⼈ 1 名が 未経験の⽣成 AI のスキルを習得、有意義な検証となった。 © 2024, Web Inc. or its affiliates. All rights reserved. © 2024, Amazon Web Services, Inc. orAmazon its affiliates. AllServices, rights reserved. 株式会社第⼀興商 開発本部 副本部⻑兼開発管理部⻑ 執⾏役員 関澤 武史 様

01. データ⼊⼒⽀援 (10/15) ⽇本電気株式会社: Claude 3 活⽤で精度の⾼い会議議事録を⾃動⽣成 ⻑時間でも正確に要旨を捉え、議事⽣成時間を 3 割削減 お客様プロフィール ビジネスの課題 • INDUSTRY 製造業 COUNTRY • ソリューション 導⼊効果 社内向けの会議議事録の⾃動作成 サービスを 1 年前にリリース • Claude 3 では、最⼤ 20 万⽂字 • Claude 3 は、会議の流れや決定事 利⽤している LLM の制約により、 30 分以上の⻑時間会議データに 対応できなかった • ⻑時間の会議⽂字起こし処理の の⼀括処理が可能 ための、分割結合処理も不要に ⽇本 ⽇本電気株式会社 1899 年 設 ⽴ 。 IT サ ー ビ ス 事 業・社会インフラ事業を推進。 近年は AI 技術の開発・活⽤・提 供に注⼒。専⾨組織を発⾜し、 ⽇本語に強い独⾃ LLM を開発す るなど精⼒的な活動を続けてい る。 “ 項を正確に捉えた議事録を⽣成。 精度が⼤きく向上すると共に、議 事録⽣成にかかる時間を 3 割削減 • ⽣成処理能⼒の⾼さを⽣かし、よ り多くの録画ファイルから議事録 作成が⾏えるようサービスを拡⼤ 予定 Amazon Bedrock を利⽤することで、 最新 AI 技術を活⽤した議事録作成アプリをわずか 2 週間で構築、 4 万⼈の業務改善に寄与しています。 ⽇本電気株式会社 経営システム統括部 シニアディレクター 中⽥ 俊彦 様 © 2024, Web Inc. or its affiliates. All rights reserved. © 2024, Amazon Web Services, Inc. orAmazon its affiliates. AllServices, rights reserved.

02. 専⾨的応対⽀援 (6/16) 株式会社 ⽇⽴パワーソリューションズ: Amazon Bedrock を⽤いて設備情報の検索精度を⾼め 保守作業の効率を向上 お客様プロフィール ビジネスの課題 COUNTRY ⽇本 社名: 株式会社 ⽇⽴パワーソリューションズ 設⽴年⽉⽇: 1960 年 4 ⽉ 20 ⽇ 本社の所在地: 茨城本社 茨城県⽇⽴市幸町三丁⽬ 2 番 2 号 東京本社 東京都千代⽥区外神⽥⼀丁⽬ 18 番 13 号 代表者: 取締役社⻑ 安藤 次男 導⼊効果 • 設備保守を提供する中、ベテランエ ンジニアから若⼿への技術伝承が課 題 • 設備マニュアルや作業報告書の データを取り⼊れた⽣成 AI ベースの チャットボットを構築 • 保守⼿順⽂書を作成するとき、設備 マニュアルから引⽤する⼯数が減り、 ⽂書作成時間が削減される⾒込み • 経験の浅い保守員が膨⼤な量の 設備マニュアルや過去の報告書から 欲しい情報を探すのに時間が必要 • Amazon Kendra と Amazon Bedrock を使って RAG (検索拡張⽣成) を構成 し、個々の設備の専⾨性を加味した 回答が可能 • 部品名の⾔い換えがあっても 精度⾼く情報を抽出 • 今後も作業指⽰書の⾃動作成、 フィールドでの活⽤等、展開を検討 INDUSTRY 製造業 ソリューション • 帳票類データは取り込みにくいが、 XML 形式に変換をすることによって 回答精度が向上 “ 半年くらいかかると想定した⽣成 AI の効果検証が、 © 2024, Web Inc. or its affiliates. All rights reserved. © 2024, Amazon Web Services, Inc. orAmazon its affiliates. AllServices, rights reserved. Amazon Bedrock を利⽤することで、3 か⽉でできました。 株式会社 ⽇⽴パワーソリューションズ 経営戦略本部 担当本部⻑ 湯⽥ 晋也 様

02. 専⾨的応対⽀援 (7/16) 株式会社 ⽇⽴製作所: 統合システム運⽤管理において⽣成 AI を⽤いて、 IT システム障害における初動の判断時間を約 2 / 3 に短縮 お客様プロフィール ビジネスの課題 IT システムの突然の障害に対し、適 • 切に早期の切り分けができない場合、 ビジネスの機会損失が⻑期化する 統合システム運⽤監視ソリューション • である JP1 において Amazon Bedrock を⽤いた分析を検証 • 運⽤担当者のスキルレベルに依存し た運⽤体制が常態化している • • 障害事象の切り分けを⾏う際に複数 のツールを組み合わせることは、原 因特定にかかる時間の⻑期化につな がる JP1 で検出した IT システムの障害に 対し、対処⽅法を管理画⾯からチャッ ト形式で問い合わせ可能 • Amazon Bedrock はマニュアル情報を • もとに対処⽅法を回答 • 加えて、回答の根拠となるマニュアル などの引⽤元を表⽰することで運⽤担 当者の判断を⽀援 COUNTRY ⽇本 商号: 株式会社 ⽇⽴製作所 Hitachi, Ltd. 設⽴年⽉⽇: 1920 年 2 ⽉ 1 ⽇ 本社の所在地: 東京都千代⽥区丸の内⼀丁⽬ 6 番 6 号 代表者: 代表執⾏役 執⾏役社⻑兼CEO ⼩島啓⼆ 導⼊効果 • INDUSTRY 製造業 ソリューション • 9 割以上のアラートで正しい対処⽅法 を回答していることを確認 IT システムの障害において、JP1 の 管理画⾯から⽣成 AIの⽀援を得るこ とで、初動の判断時間を約 2 / 3 に短 縮することが期待される 散在する情報の収集や対応策の確認 時間にかかる運⽤担当者の負担を低 減 “ Amazon Bedrock の Claude 3 Haiku で、システム障害 “ の初期対応に必要な⾼い回答精度と⾼速なレスポンスを © 2024, Web Inc. or its affiliates. All rights reserved. © 2024, Amazon Web Services, Inc. orAmazon its affiliates. AllServices, rights reserved. 実現することができました。 株式会社 ⽇⽴製作所 クラウドマネージドサービス本部 ⼤坪⼀紀 様

03. 営業⽀援 (3/9) KDDIアジャイル開発センター株式会社: 営業活動全体を⽣成 AI がサポート 議事録と提案書の作成時間を最⼤ 1 時間削減 お客様プロフィール ビジネスの課題 INDUSTRY 情報通信・インターネット • ⽇報は営業活動では重要な知⾒の 源泉となる⼀⽅で、社員に作成の 負担を要する作業であった • 組織としても⽇報からの知⾒共有 が限定的で、経験が属⼈化してい た • 上記踏まえ、営業社員の負担を軽 減しつつ過去の知⾒の収集・利活 ⽤する仕組みの整備が課題だった COUNTRY ⽇本 KDDIアジャイル開発センター株式会 社は、アジャイル開発⼿法やサービ スデザインの実践知に基づいたプロ セスを⽤いて、本質的な価値の追求 をパートナーと共に⾏う共創事業を 提供いたします。 ソリューション 導⼊効果 • Amazon Bedrock の Claude 3 Opus で営業活動を⼀気通貫に⽀援 • Amazon Transcribe の⽂字起こし • 結果から議事録を⾃動⽣成。 利⽤者の指⽰で出⼒の再整形も可能に • RAG (検索拡張⽣成) で提案商材を検 索、類似商材との⽐較表と提案⾻⼦を ⾃動⽣成 • ⽣成情報に基づく⽇報の⾃動⽣成 • 議事録と提案書の作成時間を 最⼤ 1 時間短縮 利⽤した営業担当から「そのまま 営業⽇報に使えるレベル」「⼀気 に稼働が減り助かる」等、ポジ ティブなフィードバックが多数得 られた 3 で⽣成した議事録は「いつも⾃分が書いているレベルと “Claude 遜⾊ない」と⾼い評価を得ています。 AWS で完結できる開発体験 は短期間で完成度の⾼いプロダクト開発にも繋がりました。 © 2024, Web Inc. or its affiliates. All rights reserved. © 2024, Amazon Web Services, Inc. orAmazon its affiliates. AllServices, rights reserved. KDDIアジャイル開発センター株式会社 開発 ５ 部 エンジニア ⼤坪 悠 様

06. コンテンツ作成 (1/14) 株式会社 朝⽇新聞社 : コンテンツ制作⽀援サービスに Amazon Bedrock を活⽤し 記者業務を効率化 お客様プロフィール ビジネスの課題 • INDUSTRY メディア COUNTRY ⽇本 株式会社朝⽇新聞社は 140 年 以上と国内有数の歴史を持つ メディア企業であり、紙から デジタルまで幅広い媒体で情報 を発信しています。 • デジタルメディアの登場や⼈⼿ 不⾜の問題から記者の負担の増 加が問題視されていた 記者の業務フローを分析したと ころ、編集業務のうちの⼀つで ある⽂字起こし業務に⼤きな負 荷がかかっていることがわかっ た ソリューション 導⼊効果 • 記者の⽂字起こし業務効率化のた • 複数のモデルが利⽤できる Bedrock を通じ、要約の正確性やコスト効率 を加味し最適なモデルを選択できた めに独⾃の⾳声認識モデルを搭載 したコンテンツ制作⽀援サービス 「ALOFA」を開発 • さらなる記者業務の効率化のため Bedrock を活⽤した⽣成 AI によ る要約⽣成等も導⼊ • ALOFA の導⼊により利⽤ユーザーか らは「⽉の残業が 20 時間減った」 といったコメントもあり業務効率化 を達成 • コンテンツ制作⽀援サービスを外部 展開することも考えており新たな ビジネスの創出にもつながっている Amazon Bedrock の活⽤により短期間で複数モデルを検証 “ ” “ し、性能⾯、コスト⾯、レイテンシー⾯で最適なモデルを 選ぶことができました。 © 2024, Web Inc. or its affiliates. All rights reserved. © 2024, Amazon Web Services, Inc. orAmazon its affiliates. AllServices, rights reserved. 株式会社 朝⽇新聞社 メディア事業本部メディア研究開発センター 嘉⽥ 紗世 様

07. システム開発⽀援 (5/15) KDDI株式会社 : 社内情報を⽤いた⽣成 AI チャットボットをわずか 1 週間で構築、 業務負荷を約 90% 削減 お客様プロフィール ビジネスの課題 • INDUSTRY 情報通信・インターネット COUNTRY ⽇本 総合通信事業者としてさまざ まなサービスやネットワーク ソリューションを提供。 • コンシューマー向けサービスの プラットフォームを開発運⽤ ⻑年運⽤されているシステムで あることから、設計書や運⽤に 関するドキュメントが⼤量かつ 複数フォーマットで作成されて おり、さらに分散して管理され ているため担当者間のコミュニ ケーションコストが⾼く、属⼈ 的な作業が発⽣していた “ © 2024, Web Inc. or its affiliates. All rights reserved. © 2024, Amazon Web Services, Inc. orAmazon its affiliates. AllServices, rights reserved. ソリューション 導⼊効果 • Amazon Bedrock Knowledge • わずか 1 週間でチャットボットを Bases を利⽤し⽣成 AI チャット ボットを構築 • LLM は Claude 3.5 Sonnet を利⽤、 最新モデルに都度アップデート • アプリケーション構築には AWS Lambda, AWS Amplify 等サー バーレスサービスを活⽤し、メン テナンスを効率化 構築し、⻑年蓄積された⼤量の ドキュメントの検索⼯数が約 90％ 削減 • 海外パートナーへのメール作成な どにも活⽤し、リソースを本来業 務へ集中できるように • 属⼈性が解消され、新規参画メン バーの⽣産性が向上 ⽣成 AI による業務⽣産性向上というテーマに対し、 Amazon Bedrock Knowledge Bases は実現する答えの 1 つを極めて短期間で提供してくれました。 KDDI株式会社 中野 利彦 様 パーソナルシステム本部 ライフデザインプラットフォーム部 グループリーダー ”

07. システム開発⽀援 (8/15) 三菱電機株式会社: エアコン向けファームウェア開発プロセスを⽣成 AI の⼒で効率化 お客様プロフィール ビジネスの課題 • INDUSTRY 製造業 • ファームウェアは頻繁に改修依頼が 発⽣する。改修内容は、対象以外機 種にも間接的に影響が及ぶ • 開発担当チームは、個々の改修依頼 の影響範囲の特定と改修内容の確定 のため、多数のドキュメントを時間 をかけて検索し読み解く必要がある COUNTRY ⽇本 三菱電機株式会社は 1912 年に創 業した総合電機メーカーであり、 家電、産業機器、電⼦デバイス、 情報通信システムなどの事業を展 開しています。「変⾰と挑戦」を 企業理念に掲げ、 AI や IoT など の最新技術を活⽤した製品・サー ビスの⾰新に取り組んでいる。 三菱電機株式会社では、主⼒商品の 1 つであるエアコン (AC) 向けの ファームウェア開発業務の効率化が 重要な課題 ““ © 2024, Web Inc. or its affiliates. All rights reserved. © 2024, Amazon Web Services, Inc. orAmazon its affiliates. AllServices, rights reserved. ソリューション 導⼊効果 • GenAIIC は Discovery Workshop を通 • Discovery Workshop を通じ、 じ、開発の業務の現状と課題を把握。 ファームウェア開発業務プロセスの ⽣成 AI 活⽤ユースケース案を複数策 中で⽣成 AI による効率化が⾒込め 定。「開発関連ドキュメントの検索」 るユースケースを特定し、実⽤化ま を PoC に選定 でのロードマップを策定できた • マルチモーダル⽣成 AI を活⽤し、ド キュメントからのメタデータ抽出と埋 • PoC で実装した開発関連ドキュメン め込みを⾏いベクター DB へ格納。改 ト検索の検証により、フィージビリ 修範囲に関連した⽂書を⾼精度で検索 ティテストを実施。その結果、制御 するためのメタデータを Claude 3 で 設計者の⼯数効率を 20% ~ 40% 向 ⽣成 上させられる可能性を確認した 三菱電機株式会社では、⽣成 AI の利⽤環境を従業員に提供するなど、早い段階から⽣成 AI の活⽤を検討していましたが、実ビジネスにおける活⽤⽅法に悩んでいました。 AWS Generative AI Innovation Center との協業を通じ、当社の主要事業の 1 つである エアコン事業において、⽣成 AI を活⽤したソフトウェア開発業務の効率化の⽬処が⽴った ことは⼤きな成果と捉えています。 三菱電機株式会社 ⽣産システム本部 ⽣産システム企画・技術部 ソフトウェア⽣産⼒強化グループ グループマネージャー ⻑峯 基 様

基盤モデル開発 (1/5) 株式会社ELYZA : AWS Inferentia2 × Speculative Decoding の組み合わせで 世界初、約 2 倍の推論速度を実現 お客様プロフィール ビジネスの課題 • INDUSTRY 情報通信・インターネット (AI) COUNTRY ⽇本 株式会社ELYZA は東⼤松尾研 発の⽣成 AI カンパニーで、⾃ 然⾔語処理と⼤規模⾔語モデ ル（LLM）を専⾨とし、独⾃ の AI エンジン開発や企業向け LLM 活⽤⽀援を⾏っています。 • 700 億パラメータの⽇本語 LLM 最新モデル (当時)「ELYZAjapanese-Llama-2-70b」を開発 し、実案件獲得に繋げるための デモサービスを短期スパンで検 討・公開する必要があった しかし、700 億パラメータのモ デルを動かす⾼性能な計算リ ソースを⼗分調達することは GPU 需要が⾼まる中で困難 “ © 2024, Web Inc. or its affiliates. All rights reserved. © 2024, Amazon Web Services, Inc. orAmazon its affiliates. AllServices, rights reserved. ソリューション 導⼊効果 • AWS Inferentia2 アクセラレー • ⾼スペックで調達容易な Inferentia2 ターを搭載した Amazon EC2 Inf2 インスタンスを採⽤ • 世界初の試みとして Speculative Decoding (推論処理⾼速化⼿法) を Inferentia2 上で実装 • AWS の⼿厚いサポートを受けな がら、GPU と Inferentia2 とでの 推論出⼒差異の問題等を解決 搭載の Amazon EC2 Inf2 インスタ ンス上で Speculative Decoding を実 装した結果、平均して元の推論速度 の 2 倍程度の⾼速化に成功 • AWS アカウントチームおよび Inferentia2 の設計・開発に携わる Annapurna Labs の Specialist ⽀援 により約 1 か⽉以内で実装を完了 前例のない AWS Inferentia2 での Speculative Decoding 実装における技術サポートをはじめ、タイトなスケジュー ルの中、ELYZA ⽬線で⾮常に親⾝に伴⾛いただきました。 株式会社 ELYZA 取締役 CTO 垣内 弘太 様 ” 詳細はこちら

• https://aws.amazon.com/jp/blogs/startup/tech-interview-elyza-2024/

基盤モデル開発 (2/5) カラクリ株式会社: カスタマーサポートに必要な誠実かつ⾃然な返答ができる⽇本語 LLM を 3 ⽇で学習 お客様プロフィール ビジネスの課題 • INDUSTRY 情報通信・インターネット COUNTRY ⽇本 カラクリ株式会社は、カスタマー サポートの DX を推進するべく 有⼈のチャットや接客ツール、 また AI を⽤いたチャットボット など顧客応対業務を効率化する サービスの提供と研究開発を⾏っ ています。 • AI チャットボットのサービスで ある KARAKURI chatbot では 2018 年に正答率 95% を達成し ていたものの、返答をより理解 しやすく⾃然な回答で伝えられ るよう改善を続けていた ⽣成 AI の登場からいち早く LLM 専⾨の「カラクリ LLM ラボ」を ⽴ち上げたものの、世界的な GPU 不⾜を含めた開発資源の問 題に直⾯していた ソリューション 導⼊効果 • ⼀般的なテキストデータに加え、独 • 700 億規模のモデルを trn1.32xlarge ⾃収集したカスタマーサポート業務 に特化した⽇英のデータを収集 • 学習済みの Llama2 をベースとし、 学習特化の AWS Trainium で継続事 前学習を⾏うことでコスト効率よく ⾼性能な LLM を開発 • LLM 開発⽀援プログラムに採択さ れクレジットの提供と技術⽀援を受 け学習 32 ノードで学習し、3 ⽇かつ通常の GPU の半分のコストで学習。⽇本語 LLM のベンチマークテスト 「Japanese MT-Bench」で国産 LLM モデルとして最⾼性能 (※) を記録 • サービスへの組み込みを⾒越して、 AWS Inferentia2 による⾼速・コスト 効率の⾼い推論でデモを実装 • 開発を進め、AWS Marketplace への モデル出品も実現 “スタートアップ企業が LLM の開発に挑戦するには、コストと時間 を最⼤限効率化することが必要です。AWS Trainium と AWS の ⽀援により短期間で実⽤レベルの LLM を開発できました。 © 2024, Web Inc. or its affiliates. All rights reserved. © 2024, Amazon Web Services, Inc. orAmazon its affiliates. AllServices, rights reserved. カラクリ株式会社 取締役 CPO 中⼭ 智⽂ 様 ※ 2024 年 1 ⽉ 18 ⽇時点

• https://aws.amazon.com/marketplace/pp/prodview-pwsqrkkq2rxv4

基盤モデル開発 (3/5) 株式会社NTTデータ: AWS からの⽀援を受け、⽣成 AI の基盤モデル (LLM) の開発環境 を 2 週間で構築 お客様プロフィール ビジネスの課題 • INDUSTRY 情報通信・インターネット COUNTRY ⽇本 デジタル技術を活⽤したビジ ネス変⾰や社会課題の解決に 向けて、さまざまなサービス を提供します。 • ソリューション 導⼊効果 ⾃社の LLM 開発に伴い、早期に ⼤規模なコンピュート環境の⽤ 意が必要だった • Amazon EC2 の GPU インスタンス • 2 週間での NTT グループの LLM 開発 ⼀⽅ハードウェアとソフトウェ アリソース確保が困難、環境の タイムリーな提供が難しい • GPU クラスター構築・運⽤のため の技術⽀援を受けられた • リソースを即座にスケーリングする スケーラビリティと柔軟性を実現し た • NTT グループが開発した tsuzumi™ を活⽤ 環境構築とグループ内提供を実現 は有数の⽇本語処理能⼒持ち、かつ 図表読解も可能なため、コンタクト センターや相談チャットボットと いった顧客サポート領域での活⽤が 期待される 開発には膨⼤なマシンリソースが必要です。AWS を利⽤ “LLM することで⼤量の GPU インスタンスを調達でき、2 週間で開 発環境を構築することができました。 © 2024, Web Inc. or its affiliates. All rights reserved. © 2024, Amazon Web Services, Inc. orAmazon its affiliates. AllServices, rights reserved. 株式会社NTTデータ Generative AI ビジネス推進室 柏原 豊様

基盤モデル開発 (4/5) 株式会社リコー : AWS Trainium による 700 億パラメータ⼤規模⾔語モデル開発で 50% コスト低減 お客様プロフィール ビジネスの課題 INDUSTRY エレクトロニクス機器 COUNTRY ⽇本 株式会社リコーは、プリンターや コピー機、FAX など、オフィス オートメーション時代の先駆者と して知られており、オフィスの課 題を解決するソリューションを提 供し続けています。 ソリューション 導⼊効果 • リコーでは、企業内に散在しているナレッジや ドキュメントを AI で利活⽤するサービス 「仕事の AI」を提供中。より⾼度な機能を実 現するため、⽇本語・英語・中国語に対応し、 ⽇本語性能に優れる独⾃の⼤規模⾔語モデル (LLM) の構築プロジェクトを推進している • AWS Generative AI Innovation Center (GenAIIC) および Annapurna Labs の協 ⼒により Trainium (16 の trn1.32xlarge ノード ) からなる学習⽤アクセラレー ター環境を構築。Llama 3 をベースにし AWS Neuron SDK を⽤いた学習を⽀援 • 独⾃ LLM の開発に成功。Trainium 256 台構成のアクセラレーター環境 で Llama-3-Swallow-70B の継続事 前学習に成功。同等の EC2 インスタ ンスと⽐較し 50% のコスト低減と 最⼤ 25% の電⼒消費量削減を達成 • 数百億パラメータ規模の LLM 継続学習を、コ ストおよび消費電⼒について⾼い効率で実現す る環境を必要としていた。また、⼤規模クラス ター環境を⽤いた学習を効率的にモニタリング し、学習処理のダウンタイムとそれに伴うコス ト増を防ぐ必要があった • GenAIIC では、⼤規模学習ジョブの実⾏ ステータスをモニタリングするためのソ リューションを開発。学習ログやモデル のチェックポイント保存状況を監視し、 学習過程の異常をリアルタイムで検出、 開発者に通知することが可能に • 開発した LLM は各種ベンチマーク において、⽇本語回答の品質と速度 でそれぞれ⾼い性能を達成。英語・ 中国語を扱えることも確認 “ “ © 2024, Web Inc. or its affiliates. All rights reserved. © 2024, Amazon Web Services, Inc. orAmazon its affiliates. AllServices, rights reserved. AWS チームからの⽀援により、AWS Trainium を⽤いた学習を効率的に実施 することができ、コストと電⼒消費量の削減のみならず、当社開発チームの 作業効率化にもつながりました。今回開発したモデルは、当社の事業領域に おける様々なアプリケーションの中核モデルとして活⽤する予定です。 株式会社リコー デジタル技術開発センター所⻑ 梅津 良昭 様 ”

基盤モデル開発 (5/5) ストックマーク株式会社 : ビジネスドメインに特化した⽇本語 LLM を GPU よりも 20% 安価に学習 お客様プロフィール ビジネスの課題 • INDUSTRY 情報通信・インターネット (SaaS) COUNTRY ⽇本 ストックマーク株式会社は、⾃然 ⾔語処理を活⽤した企業⽂化変⾰ の⽀援を⾏うサービスの開発をし ています。 • 多くの企業にとって既存の汎⽤ LLM はハルシネーション ( 誤った 回答の出⼒) が多く、商⽤利⽤に踏 み切ることができなかった ⽣成 AI が世界的に盛り上がる中、 GPU の安定的な確保と学習時のコ ストがブロッカーとなり、事業推 進の問題となっていた ソリューション 導⼊効果 • 公開データだけでなくビジネスドメ • A100 (80 G) GPU よりも約 20% 学 インの独⾃ Web コーパスや特許の データを含めた、合計 2,200 億 トークンの⽇本語テキストデータを 使⽤し 130 億パラメータ の LLM を ゼロから学習 • Amazon EC2 trn1.32xlarge を 16 イ ンスタンス⽤いた学習を実施し、約 30 ⽇の短期間で迅速に開発 習コストを削減 • JGLUE (⽇本語⼀般⾔語理解評価) ベ ンチマークで、同等のモデルと⽐較 して最⾼の JSQuAD スコアを達成 • AWS Marketplace で stockmark-13b の販売を開始、1 クリックで購⼊し 利⽤することを可能に “ 独⾃ LLM 「stockmark-13b」の開発において、安定的かつ “ 低コストに利⽤できる AWS Trainium は最適な選択肢でした。” © 2024, Web Inc. or its affiliates. All rights reserved. © 2024, Amazon Web Services, Inc. orAmazon its affiliates. AllServices, rights reserved. • LLM 開発⽀援プログラムに採択され クレジットの提供と技術⽀援を活⽤ ストックマーク株式会社 取締役 CTO 有⾺ 幸介 様

三菱 UFJ 銀⾏ : 中期経営計画で掲げる DX 実現に不可⽋な⽣成 AI の活⽤計画策定 に ML Enablement Workshop を活⽤ お客様プロフィール ビジネスの課題 • INDUSTRY ⾦融・法⼈サービス COUNTRY 国内 株式会社三菱 UFJ フィナンシャ ル・グループ (MUFG) は、世界有 数の⾦融グループの⼀つです。 「世界で最も信頼される⾦融グ ループ」を⽬指し、クライアン トのあらゆる⾦融ニーズに柔軟 に対応し、社会に貢献し、持続 可能な成⻑を促進することで、 より良い世界を⽬指しています。 • 市場事業本部は 2024 年度から始 まる中期経営計画策定において、 現状の断⽚的情報でのニーズ分析 や個⼈スキル依存の提案活動を課 題と認識 ⽣成 AI 技術等を活かし「データ やナレッジを“つなぐ“」ことで、 顧客の真の課題を組織的に解決す る体制への変⾰を DX で⽬指す姿 と定義 “ © 2024, Web Inc. or its affiliates. All rights reserved. © 2024, Amazon Web Services, Inc. orAmazon its affiliates. AllServices, rights reserved. ソリューション 導⼊効果 • ML Enablement Workshop を通じ、 • ワークショップ終了から約 3 ヵ⽉ DX で⽬指す姿を、営業、ML チー ムで合意。実現に向け、顧客 FB を 踏まえながら段階的に AI 活⽤範囲、 対象ユーザーを拡⼤するマイルス トンを設定 • AWS プロトタイピングチームより アプリケーション構築のノウハウ を ML チームにスキル移転し、 MVP 作成を加速 で最初の顧客提案を実現し、仮説 の有効性を確認。ML チームは⽣ 成 AI による提案アイディア⽣成 プロセスの⾃動化を実現 • 開発スキルの獲得により、内製で、 部⾨全職員が利⽤可能なアプリ ケーションを 3 か⽉で構築し展開。 今後もアジャイルな開発を⾏い改 善継続予定 ” ML Enablement Workshop とプロトタイピングの⽀援によ り、⽬指すべき営業体験の創出から、検証、改善までの⼀連 のサイクルを、迅速かつ円滑に回し始めることができました。 三菱 UFJ 銀⾏ ⾦融市場部 稲森 ⼤始郎 様 市場企画部 市場エンジニアリング室 堀⾦ 哲雄 様

AWS re:Invent Recap 日本語での発表内容振り返り • Keynote 編 • 12 月 17 日 (火), 19 日 (木), 20 日 (金) いずれも同一内容 • インダストリー編 • 2025 年 1 月 28 日 (火) 〜 • 自動車は 1 月 29 日 14:00-16:00 • ソリューション編 • 2025 年 2 月 4 日 (火) 〜 2 月 7 日 (金) • 各ソリューション (Analytics, AI/ML, Storage, DB, etc.) ごとに内容を厳選 © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 67

Thank you! 針原 佳貴 X: @_hariby © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.