AI全盛時代に備えるナレッジデータ管理〜VectorStoreの選び方〜

AI全盛時代に備えるナレッジデータ管理 〜 VectorStoreの選び⽅ 〜 アステリア株式会社 エバンジェリスト ⽣成AI協会（GAIS）エバンジェリスト ⽣成ＡＩデータ連携利活⽤ＷＧ 森 ⼀弥 2023年12⽉19⽇ © 2023 Asteria Corporation

アステリア株式会社 エバンジェリスト 森 ⼀弥 新しい技術の可能性を、未来の顧客に伝える 「ASTERIA」シリーズのシニアプロダクトマネージャーを経て、 ブロックチェーンに携わり、現在は AI や IoT など先端技術全般を担当 ⾃らプログラミングし経験した新技術の可能性、勘所を、 これから業務に採⽤する皆様にお伝えします n 講演・TV・雑誌取材（AI関連のみ抜粋） ITmedia：「ChatGPT」は業務をどう変えるのか？ インプレス：今話題のAI「ChatGPT」とは何か? ⼈の仕事は奪われるのか? PC-Webzine：ChatGPTは何者か・ChatGPT の基礎解説と⽤途の可能性 Apps Japan：先端技術でリードする！ChatGPT による社内データの活⽤連携 メール等でご連絡ください [email protected] ⽣成AI協会 エバンジェリスト ITmedia 企画・原作 特許 © 2023 Asteria Corporation 2

独⾃（⾃社）データの利⽤⽅法 ファイン チューニングで 追加学習 プラグインの 利⽤ ノーコード 開発（GPTs） ! W E N 前提知識を使った プロンプト エンジニアリング RAG：Retrieval Augmented Generation（検索拡張⽣成） © 2023 Asteria Corporation 3

RAG：Retrieval Augmented Generation （検索拡張⽣成)とは n n LLMに外部の追加情報を付与した上で⽂章等を⽣成する⼿法 VectorStoreにEmbedding済みデータを蓄えていくのが⼀般的 on-premises / private cloud cloud Framework LLM User ⾃社 データ VectorStore Embedding © 2023 Asteria Corporation

RAGの各構成要素と選択肢 n Framework n u LLMや各種ツールとの連携を⾏う u 利⽤⾔語（主に⽇本語と想定）をVectorデータ に変換する u LangChain（オープンソース）、Semantic Kernel（Microsoft）など u ⾔語に対応したModelが必要だが、流暢な⽇本 語である必要はない u LangChainで⾃社環境でLLM、Embeddingを 利⽤するのであればPython版 n u 利⽤料やデータの外部への出⼒が気になるので あればHuggingFace 等で取得できるローカル モデルでの運⽤もあり LLM u RAGでは回答のテキスト⽣成を⾏うAI エンジンとして Embedding Model n VectorStore u 現時点ではローカル実⾏できるものは⽇本語の 精度は今ひとつ？ u Embedding済みの⾃社ナレッジを保存する データベース u OpenAI(GPT3.5/GPT4)、Google（Vertex AI PaLM、Gemini）などに限定される u ファイル保存、ローカルデータベース、 クラウドサービスタイプなど各種 u AWS や Meta などの選択肢も増えつつある u ⽤途、好みに合わせて選択 © 2023 Asteria Corporation

RAGの処理の流れ on-premises / private cloud User Framework （LangChain etc..） Question [123][456]... Similar Doc VectorStore （FAISS etc..） public cloud Embedding （HuggingFace etc..） LLM （ChatGPT etc..） Question [123][456]... Prompt Answer Answer © 2023 Asteria Corporation

RAGを使う理由 ⾃社データは ⾃社管理下に n 全データを外部に 流さなくて良い n VectorStore ⾃体を 複数⽤意しても良い ベンダー ロックインしない n LLM や VectorStore、 設置する環境など特定の ベンダーに依存しない 最新技術への追従 n AIモデルに⾰新的な性能 向上があった場合など、 該当箇所のみ変更できる © 2023 Asteria Corporation

いくつかの VectorStore について 無料で出来る範囲で 簡単に検証してみました © 2023 Asteria © 2023 Corporation Asteria Corporation

n n n n n n n n MySQL 互換でSQLが通る クラウド版はAWS、Google、Azureを選べる クラウド版では無料DBは1つのみ テーブルは複数作れるので、カテゴリ分けなどに利⽤出来る しばらく利⽤していないとスリープに⼊るためWebUIで 「Resume」が必要（無料版のみ？） ⽇本Regionは無い、アメリカを使うほうが良さそう （シンガポールは謎のエラー発⽣） オンプレ版の最⼩構成は無料 クラウド版で試してから本番はオンプレで作る流れが良さそう © 2023 Asteria Corporation

Pricing © 2023 Asteria Corporation

n クラウドのみの提供 n 無料コースではデータベースに相当する「Index」は1つのみ n 1Index内でNamespaceで区切れるのでカテゴリ分けに n n 利⽤可能 Index作成時にDimension（Embedding Modelによって 異なる）を指定する Full Managed なので、クラウドに抵抗のない⼩規模 プロジェクトなど向きか © 2023 Asteria Corporation

Pricing © 2023 Asteria Corporation

FAISS n Meta(Facebook)製のベクターストアのオープンソース n n n ライブラリ 基本メモリ上で動き、永続化はファイルへ保存 メモリ容量や多重アクセスなど懸念がなければどこでも動く ⼀度作成して更新が殆どないようなものであれば向いて いるかも © 2023 Asteria Corporation

n Milvus のクラウド版という位置づけ n Project > Cluster > Collection という構成 n Cluster ごとに Endpoint と API キーが有る n 無料版はCollection は2つまで n Partition という概念がCollectionにあるが、ZilliZでは n n 使えず（It's deny API とのエラーメッセージ） カテゴリを分けるならCollection単位か 実験⽤途で無料版を使うのはありだが、その先は有料プラン かオープンソースのMilvusを検討したほうが良さそう © 2023 Asteria Corporation

Pricing © 2023 Asteria Corporation

Chroma n オープンソースのベクターストア n 2023Q4にCloudサービスを予定？ n Python版、JavaScript版が提供中 n インメモリモードと、クライアントサーバーモデルがある n インメモリ版の永続化はファイル保存 n まだ発展途上だが、インメモリ、クラサバ、クラウドの選択 肢が後からでも取れるのは良さそう © 2023 Asteria Corporation

n 無料クラウド版は、クラスター名の⼊⼒、APIキーの取得後、 n n n n n USのAWSで作成され、ほぼ⼿間いらず オンプレ（Docker） Clusterの下にCollectionを作成 1Gまでであれば無料で永続利⽤が可能 GPU利⽤も可能で速度⾯は有利？ ⼩規模な社内利⽤ならオンプレ/クラウドともに良さそう？ © 2023 Asteria Corporation

Pricing © 2023 Asteria Corporation

VectorStore まとめ FAISS Chroma 概要 クラウド/オンプレ 無料体験 URL MySQL互換でSQLも通る VectorStore 両対応 クラウド版：600ドル分 まで無料 オンプレ：最⼩構成なら 無料 https://www.singlestore. com/ 無料から利⽤できるマネー ジドVectorStore クラウド 無料利⽤ではDBにあた るIndexは1つのみ https://www.pinecone.io / Facebook(Meta)作成ライ ブラリ オンプレ（インメモリ、 ファイル保存） 無料 https://faiss.ai/ Milvus の Cloud版とのこと だが、機能制限あり クラウド 最⼩構成は無料 $100の無料分/30⽇まで があり https://zilliz.com/ オープンソースの VectorStore オンプレ（インメモリ、 ファイル保存） 2023Q3にCloudサービス を予定 無料 https://www.trychroma.c om/ オープンソース GPU利⽤も可能 クラウド/オンプレ （Docker提供、インメ モリ、ファイル保存） クラウド：1GBまで無料 https://qdrant.tech/ © 2023 Asteria Corporation

• https://www.singlestore.
• https://www.pinecone.io
• https://faiss.ai/
• https://zilliz.com/
• https://www.trychroma.c
• https://qdrant.tech/

オマケ Tips VectorStoreを ⾃動切り替え GUIで ノーコード開発 様々なデータ収集にも 「データ連携」が有⽤ n LangFlowというツールで LangChainのコードをGUI でプログラムコード無し で作ることができる n GUIで操作できるツールで 既存データの加⼯や ツールの切り替えなどが 便利 Chroma n LangChainの機能で、 説明書きに応じて複数の VectorStoreを使い分け 出来るものがある © 2023 Asteria Corporation

ご相談承ります 社内向けのセミナー ⾃社データ活⽤のアドバイス メール等でご連絡ください [email protected] © 2023 Asteria Corporation 21

事例：⼤⼿会計ソフトベンダー 開発メンバーへのアドバイスを⾏う「アドバイザリー契約」 社内向けセミナー n ⼊⾨・基本セミナー n RAG環境をレクチャー n サンプルプログラムの 提供（LangChain） 社内情報の活⽤ 環境の構築⽀援 n 社内⽂書のベクター データ化⽀援 n VectorStore選定協⼒ n 活⽤プログラム構築⽀援 毎週の勉強会⽀援 報告書・発表資料 作成⽀援 n 作成中プログラムや 環境へのアドバイス n 話題の新技術に関する 情報提供 n 報告書の原案作成 n 発表会資料の原案作成 n プレゼン⽅法に関する アドバイス → 具体的なアイデアの創出や若いメンバーのモチベーション向上に貢献 AI（⼤規模⾔語モデル）による⾃社データ活⽤について 詳細はアステリアまでお問い合わせください © 2023 Asteria Corporation