Clickhouse x LibreChat x Langfuse 次世代AI BIの発展

ClickHouse x LibreChat x Langfuse ⾼速な次世代AI BIへの発展 w/ Agentic data stack ガオ株式会社 嘉⾨延親 (KAMON Nobuchika)

OUR SERVICES 吉積ホールディングスグループ 代表取締役 嘉⾨ 延親 設⽴ 2024年10⽉21⽇ GenAIOps / LLMOps ⽣成AIアプリケーションの利 ⽤状況の可視化/改善 Langfuse 2024 年 10 月以降、日本とア ジアで唯一商用ライセンスの 販売・導入・サポートなど を取 Langfuse 国内/APAC 唯⼀の パートナー企業 ビジネスのROIを最⼤化させ るための⽣成AI運⽤ り扱う 正規パートナー GenAI Professional Service アイデア創出 , PoC〜本番実装 そして運用まで、生成 AI活用の 全フェーズをカバーするプロ フェッショナルサービス

Background

DWH＋BI活用が進むほど顕在化する3つの壁 時間の壁 コストの壁 反復クエリ増で スキャン量が膨張 「ちょっと試す」が 実際にできない ● クエリ課金の悩み ● 回答までに時間がかかる ● 現場のフィルタ・深掘り が増えるほど、月次コス トは増えていく ● 誰かが作ったダッシュボー ドをみながら会議中の仮 説検証が止まり、意思決 定が後ろ倒しになりやすい ● 生成AIがクエリを自動生 成すると … $ スキルの壁 新しい切り口は データ部門に集中 ● SQL・定義調整・抽出依頼 がボトルネックになりやす い ● ダッシュボード、 結局何がわかるの？ ● やっぱりBIは難しい

小売などでの LibreChat x ClickHouse 活用例

Agentic data stack https://github.com/ClickHouse/agentic-data-stack The open-source stack for ClickHouse's suite of agentic analytic tools — your chat, your models, your data. Powered by ClickHouse, LibreChat, and Langfuse. This project runs a fully self-hosted agentic analytics environment with Docker Compose. It connects a chat UI (LibreChat) to your data (ClickHouse) via MCP, with full LLM observability (Langfuse) — all in a single docker compose up command.

• https://github.com/ClickHouse/agentic-data-stack
• https://clickhouse.com/

Agentic Data Stack

既存のLibreChatとClickHouse統合の課題 ● そもそもこのシステムは “誰が” “どのように ” 使ってる？ ● 有効に使えているんだろうか ? ● フィードバックはきてるのだろうか ? ● 何かエラーはおきてない？ ● LLMのコストはどれくらい ?

Agentic data stack https://github.com/ClickHouse/agentic-data-stack The open-source stack for ClickHouse's suite of agentic analytic tools — your chat, your models, your data. Powered by ClickHouse, LibreChat, and Langfuse. This project runs a fully self-hosted agentic analytics environment with Docker Compose. It connects a chat UI (LibreChat) to your data (ClickHouse) via MCP, with full LLM observability (Langfuse) — all in a single docker compose up command.

• https://github.com/ClickHouse/agentic-data-stack
• https://clickhouse.com/

[概要] ● グローバルの多くの企業‧開発者から圧倒的な⽀持をもつLLM Engineering Platform ( OSS LLM observability No.1のシェア) ● ⽇本国内でも実績多数、コミュニティが急成⻑中 ● ガオ株式会社 が国内/APAC唯⼀の再販‧サポートを提供 [主な機能] ● LLMOpsに必要な全ての機能をカバー＋エンタープライズ向け管理機能 ○ 簡単にLLMアプリケーションの処理情報 (Trace) を取得と保存、可視化や分析を実現 ○ アプリケーションの利⽤に関する統計を取得、ダッシュボードで確認 ○ プロンプト管理、評価（⼈間およびモデルベース）、データセット（テスト）などを 通してLLMアプリケーションを継続的に改善

デモ 現地限りで投影

Key Takeaways

DWH＋BI活用が進むほど顕在化する3つの壁 時間の壁 コストの壁 反復クエリ増で スキャン量が膨張 「ちょっと試す」が 実際にできない ● クエリ課金の悩み ● 回答までに時間がかかる ● 現場のフィルタ・深掘り が増えるほど、月次コス トは増えていく ● 誰かが作ったダッシュボー ドをみながら会議中の仮 説検証が止まり、意思決 定が後ろ倒しになりやすい ● 生成AIがクエリを自動生 成すると … $ スキルの壁 新しい切り口は データ部門に集中 ● SQL・定義調整・抽出依頼 がボトルネックになりやす い ● ダッシュボード、 結局何がわかるの？ ● やっぱりBIは難しい

既存のLibreChatとClickHouse 統合の課題 ● そもそもこのシステムは “誰が” “どのように ” 使ってる？ ● 有効に使えているんだろうか ? ● フィードバックはきてるのだろうか ? ● 何かエラーはおきてない？ ● LLMのコストはどれくらい ?

しかし、本番利用時の悩みはまだある ● LibreChatを一般ユーザに解放した時のシステム運用負荷 (OSSの辛み) ● 既存データベースからのデータ同期や ClickHouseで有効活用できるよう にするデータ整理 ● 継続的な LibreChatのレポートの進化と改善 ○ ○ すぐに自分の意見に迎合しちゃう 非常に小さなデータの有意性を持って効果を喧伝してしまう などなど

唐突な宣伝