Azureで使えるベクターストア

Azureで使えるベクターストア 2023/10/11 続・生成A I周回遅れキャッチアップ勉強会！ Shunsuk e Yoshik a wa

自己紹介 Shunsuke Yoshikawa X: https://x.com/ussvgr Qiita: https://qiita.com/ussvgr ⚫ 所属: 株式会社エーピーコミュニケーションズ ⚫ 普段の仕事: Azureのインフラ構築 ⚫ MICUG クラウドネイティブ/内製開発分科会オーガナイザー ⚫ Platform Engineering Meetup 運営メンバー ⚫ Microsoft MVP (Microsoft Azure) 2023/06～ ⚫ 愛知県在住

• https://x.com/ussvgr
• https://qiita.com/ussvgr

私とLLM、あるいは本LTのモチベーションについて お仕事でメインでやってるのはインフラ領域 ⚫ ネットワークの閉域化 APC 技術ブログ - Azure OpenAI Serviceにアクセスできるネットワークを制限する ⚫ 認証方式の検討 APC 技術ブログ - Azure OpenAI ServiceのAPIキーを無効化する LLMをビジネスにどう活用するか？とかは他に得意な人がいるのでお任せ状態… → 周回遅れ勢 なのでLTドリブンで追いついていく💪

• https://techblog.ap-com.co.jp/entry/2023/08/17/120000
• https://techblog.ap-com.co.jp/entry/2023/08/14/140000

本題に入る前に 関連知識の説明

RAG (Retrieval Augmented Generation) 外部のデータを補助として利用することで LLMが学習していない内容についても回答できるようにする技術 画像引用元: Azure-Samples/azure-search-openai-demo – github.com

• https://github.com/Azure-Samples/azure-search-openai-demo/

Embedding テキストをベクター表現に変換し次元空間に 埋め込む ことで、 意味的に近い文章を比較できるようにする 画像引用元: Introducing text and code embeddings – openai.com

• https://openai.com/blog/introducing-text-and-code-embeddings

Embedding に使用するモデル Embedding には専用のモデルを用いる。 Azure OpenAI Service ではEmbedding用のモデルとして、 text-embedding-ada-002 が用意されている。 画像引用元: エイダ・ラブレス - Wikipedia

• https://ja.m.wikipedia.org/wiki/エイダ・ラブレス

RAG パターン 事前に学習対象のデータをベクター化して ベクターストアに保管、 ユーザーからの入力もベクター化してベクターストアから類似したデータを検索する。 ベクター化 ベクター化 検索 保管 回答生成

Azureで使えるベクターストア

Azure Cognitive Search アプリケーションに検索機能を組み込むためのサービス ベクター検索機能はまだプレビュー状態 セマンティック検索と組み合わせた ハイブリッド検索 でより正確な結果を取得できる Azure OpenAIの On your data でも Cognitive Searchが使われている

• https://learn.microsoft.com/ja-jp/azure/ai-services/openai/concepts/use-your-data?WT.mc_id=AZ-MVP-5005287

Azure Cache for Redis Azureで提供されるマネージドなRedisサービス Redis単体ではベクター検索の機能はなく、 RediSearch拡張機能 の導入が必要 Azure Cache for Redis で拡張機能を導入するには Enterpriseプランが必要となり、そこそこ高価

• https://learn.microsoft.com/ja-jp/azure/azure-cache-for-redis/cache-redis-modules?WT.mc_id=AZ-MVP-5005287
• https://azure.microsoft.com/ja-jp/pricing/details/cache/

Azure Database for PostgreSQL / Azure Cosmos DB for PostgreSQL Azureで提供されるマネージドなPostgreSQLサービス Cosmos DB for PostgreSQLは Citus による分散DB pgvector拡張機能 を導入することで、 ベクター検索が可能となる

• https://github.com/citusdata/citus

Azure Cosmos DB for MongoDB vCore Azureで提供されるMongoDB互換サービス 要求ユニット(RU)モデルと仮想コア(vCore)モデルの 2種類が存在するが、仮想コアモデルのみベクター検索 に対応している 仮想コアモデルはまだプレビュー

Azure Data Explorer Log Analyticsでおなじみの Kusto言語(KQL)でデータ検索を行うサービス えっ、KQLでベクター検索を？できらぁ！ series_cosine_similarity_fl() という関数を使って 2つのベクトルのコサイン類似性を計算できる

• https://learn.microsoft.com/ja-jp/azure/data-explorer/kusto/functions-library/series-cosine-similarity-fl?tabs=query-defined

どれ使うのがいい？ いろんな観点があるので一概に言うのは難しい ⚫ コスト ⚫ スケーラビリティ ⚫ チームメンバーが慣れてる製品 ⚫ 採用するフレームワークが対応しているもの ⚫ GAしたものしか使いたくない ⚫ Microsoftにロックインされるのは嫌だ などなど…

独断と偏見による選択 基本は Azure Cognitive Search の利用を第一に考える。 検索専門のサービスだし、ハイブリッド検索も強力。 ナレッジベースからのデータ収集には最適。 レスポンス最優先なら Azure Cache for Redis。 オンメモリーだし速いはず（未計測なので、そんなに速くなかったらスイマセン） ロックイン回避したいなら PostgreSQL + pgvector or Cosmos DB for MongoDB。 将来のスケーラビリティを考えるなら Cosmos DB for PostgreSQL / MongoDB。 Kustoが大好きなら Azure Data Explorer 使いましょう。

まとめ ⚫ RAGアーキテクチャを構成するにあたりベクターストアは大事な要素だよ ⚫ Azureでは多くの種類のベクターストアが用意されてるよ ⚫ 用途に合わせて適切なものを選ぼうね

Enjoy LLM with Azure !