[AI Builders Day] 誰でも簡単に生成AI Agent管理入門！AWS Generative AI Solution Box で試せる Langfuse導入

誰でも簡単に⽣成AI Agent管理⼊⾨！ AWS Generative AI Solution Box で 試せる Langfuse導⼊ ガオ株式会社 Confidential

OUR SERVICES 吉積ホールディングスグループ 代表取締役 嘉⾨ 延親 GenAIOps / LLMOps Langfuse 設⽴ 2024年10⽉21⽇ ⽣成AIアプリケーションの利 Langfuse 国内/APAC 唯⼀の パートナー企業 ⽤状況の可視化/改善 ジアで唯一商用ライセンスの 販売・導入・サポートなど を取 ビジネスのROIを最⼤化させ るための⽣成AI運⽤ We’re Hiring!!! 2024 年 10 月以降、日本とア り扱う 正規パートナー GenAI Professional Service アイデア創出 , PoC〜本番実装 そして運用まで、生成 AI活用の 全フェーズをカバーするプロ フェッショナルサービス

Langfuseとは?

[概要] ● グローバルの多くの企業‧開発者から圧倒的な⽀持をもつ LLM Engineering Platform ( OSS LLM observability No1のシェア) ● ⽇本国内でも実績多数、コミュニティが急成⻑中 ● ガオ株式会社 が国内/APAC 唯⼀の再販‧OSSを含むサポートを提供 [主な機能] ● LLMOps に必要な全ての機能をカバー＋エンタープライズ向け管理機能 ○ 簡単にLLM アプリケーションの処理情報 (Trace) を取得と保存、可視化や分析を実現 ○ アプリケーションの利⽤に関する統計を取得、ダッシュボードで確認 ○ プロンプト管理、評価（⼈間およびモデルベース）、データセット（テスト）などを 通して LLM アプリケーションを継続的に改善

⽣成AIアプリケーション / エージェントの課題 ⽣成AI提供者 (IT / ビジネス) ● ● ● システムの開発、リリース、運⽤ リリース後、利⽤状況がわからない 定期的にアンケートを取るも、解答率が 悪く、内容も抽象的なため改善できない ● ● ● ● ● リリースされたので使ってみる ⽣成AIから期待した答えが返ってこない その都度フィードバックする⼿段がない アンケートに回答するのも⾯倒 利⽤頻度が下がる ⽣成 AI モデル 社内外データ (グラウンディン グ etc) Agent / Application ユーザー (アプリ利⽤者)

[GenAIOps / LLMOps] ⽣成AI導⼊効果の改善サイクル ⽣成AI提供者 (IT / ビジネス) 正確な利⽤状況の把握 ● 管理‧改善 社内外データ (グラウンディン グ etc) - ユーザーのフィードバック - 世代管理と効果測定 コストや品質の管理 ● Trace 内部処理の可視化や品質調査 プロンプトの管理 ● ⽣成 AI モデル - フィードバック Agent / Application - 利⽤状況 (ユーザ/ アプリ/ モデル) - LLM⾃動評価 -> 専⾨家評価 - ユーザのリアルな Input をDataset と してテスト利⽤ ユーザー (アプリ利⽤者) ● ● ● 適宜、IF を通じたフィードバック 品質が改善していく トラブル時に具体的に相談可能

⽣成AIアプリケーションのライフサイクル管理

出典: Amazon Bedrock AgentCore Observability with Langfuse

• https://aws.amazon.com/jp/blogs/machine-learning/amazon-bedrock-agentcore-observability-with-langfuse/

出典: AWS re:Invent 2025 - Integrate any agent framework with Amazon Bedrock AgentCore (AIM396)

• https://www.youtube.com/watch?v=YmXszEVI-x8

AWS Generative AI Solution Box Special Thanks to 久保さん！

AWS Generative AI Solution Box

Langfuse構築⼿順

リージョンを選択して、Deploy を押すだけ！

パラメーター (デフォルトでも問題なし）

パラメーター (デフォルトでも問題なし）

Langfuse Deployment Notifications [email protected] Langfuse V3 deployment completed successfully! Langfuse URL: http://Langfuse-LoadB-********************.ap-northeast-1.elb.amazonaws.com Login Credentials: Email: *****@gao-ai.com Password: ************************ API Keys: Public Key: pk-lf-******************************** Secret Key: sk-lf-******************************** IMPORTANT: Please change your password after first login for security. Configuration: ● ● ● ● ● Organization: My Org (my-org) Project: My Project (my-project) Worker Tasks: 1 Database: db.t4g.medium Cache: cache.t4g.micro Security Note: The Application Load Balancer is publicly accessible. Consider implementing additional security measures for production use. For more information, visit: https://langfuse.com/docs

• http://Langfuse-LoadB-********************.ap-northeast-1.elb.amazonaws.com
• https://langfuse.com/docs

Demo

サンプルエージェント: Langfuse について質問&回答 (LangfuseStrands Agent on Agent Core)

AWS Generative AI Solution Box (注意事項)

Key takeaways

Key takeaways ● Langfuse は LLM エージェント / アプリケーションの開発〜運⽤を助けます ○ 可視化、プロンプト管理、⾃動評価、⼿動評価など⼀通りの機能がすぐに使える ○ OSSで実⾏することができて、Agentcoreとのインテグレーションも⼤変簡単 ○ 余談ですが、Claude codeとか使う時には Langfuse Docs のMCPを使うと既存コードへ の組み込みも捗ります ● AWS Generative AI Solution Box で ワンクリックでSelf-hostedの導⼊ ○ 本当にぽちぽちとクリックするだけで、DeployもDeleteもOK ○ 45分くらい放置するだけでLangfuseの出来上がり ○ 本番に使う場合はHTTPS化やバックアップなどは気をつけよう ○ Generative AI Solution BoxにはLangfuse以外もあるよ！

AWS Generative AI Solution Box QRコード

経営会議資料 Confidencial