20251226_ローカルとクラウド LLM のセキュアなハイブリッド構成

ローカルとクラウド LLM の セキュアなハイブリッド構成 【続編】ローカルとクラウドLLMの ハイブリッドAI ~Queue Polling~ 2025/12/26 すきやねん Azure!! #33 しろくま Hiroki, Nomura

プロフィール しろくま 愛知県在住のエンジニアです。 技術関係のブログを書いたり、登壇したりしています。 所属：AzPoC部 #AzPoC なごあず #75azu GitHub Copilot Solution Architect AI Engineer Developer Administrator Network Engineer

モチベーション クラウドのLLMだけでなく、ローカルマシンのLLM（SLM）を どう活用できるのだろう？ 推論をローカルにとどめたいシーン • • • • プライバシー ネットワーク通信環境が不安定 コスト最適化 ローカルマシンに対する動作

モチベーション クラウドのLLMだけでなく、ローカルマシンのLLM（SLM）を どう活用できるのだろう？ 推論をローカルにとどめたいシーン • • • • プライバシー ネットワーク通信環境が不安定 コスト最適化 ローカルマシンに対する動作

特定業界では秘匿す べき情報をクラウド LLMに送信するのが NGな場合がある ポイント：機密データはローカルに留まり、 クラウドには匿名かされたデータのみが送信される

違い クラウドLLMだけを使う場合 ハイブリッドアプローチの場合 ローカルLLM 処理依頼Queue クラウドには送信 したくない情報が 送信されてしまう 結果連携 Queue オンプレ環境から はアウトバウンド通信のみ オンプレサーバ Phi-4-mini

デモ

Thank you !