7.6K Views
December 26, 23
スライド概要
2023年12月19日に行った、生成AI協会(GAIS)の勉強会での資料です。無料で体験できるいくつかのVectorStoreをレビューしています。
AI全盛時代に備えるナレッジデータ管理 〜 VectorStoreの選び⽅ 〜 アステリア株式会社 エバンジェリスト ⽣成AI協会(GAIS)エバンジェリスト ⽣成AIデータ連携利活⽤WG 森 ⼀弥 2023年12⽉19⽇ © 2023 Asteria Corporation
アステリア株式会社 エバンジェリスト 森 ⼀弥 新しい技術の可能性を、未来の顧客に伝える 「ASTERIA」シリーズのシニアプロダクトマネージャーを経て、 ブロックチェーンに携わり、現在は AI や IoT など先端技術全般を担当 ⾃らプログラミングし経験した新技術の可能性、勘所を、 これから業務に採⽤する皆様にお伝えします n 講演・TV・雑誌取材(AI関連のみ抜粋) ITmedia:「ChatGPT」は業務をどう変えるのか? インプレス:今話題のAI「ChatGPT」とは何か? ⼈の仕事は奪われるのか? PC-Webzine:ChatGPTは何者か・ChatGPT の基礎解説と⽤途の可能性 Apps Japan:先端技術でリードする!ChatGPT による社内データの活⽤連携 メール等でご連絡ください [email protected] ⽣成AI協会 エバンジェリスト ITmedia 企画・原作 特許 © 2023 Asteria Corporation 2
独⾃(⾃社)データの利⽤⽅法 ファイン チューニングで 追加学習 プラグインの 利⽤ ノーコード 開発(GPTs) ! W E N 前提知識を使った プロンプト エンジニアリング RAG:Retrieval Augmented Generation(検索拡張⽣成) © 2023 Asteria Corporation 3
RAG:Retrieval Augmented Generation (検索拡張⽣成)とは n n LLMに外部の追加情報を付与した上で⽂章等を⽣成する⼿法 VectorStoreにEmbedding済みデータを蓄えていくのが⼀般的 on-premises / private cloud cloud Framework LLM User ⾃社 データ VectorStore Embedding © 2023 Asteria Corporation
RAGの各構成要素と選択肢 n Framework n u LLMや各種ツールとの連携を⾏う u 利⽤⾔語(主に⽇本語と想定)をVectorデータ に変換する u LangChain(オープンソース)、Semantic Kernel(Microsoft)など u ⾔語に対応したModelが必要だが、流暢な⽇本 語である必要はない u LangChainで⾃社環境でLLM、Embeddingを 利⽤するのであればPython版 n u 利⽤料やデータの外部への出⼒が気になるので あればHuggingFace 等で取得できるローカル モデルでの運⽤もあり LLM u RAGでは回答のテキスト⽣成を⾏うAI エンジンとして Embedding Model n VectorStore u 現時点ではローカル実⾏できるものは⽇本語の 精度は今ひとつ? u Embedding済みの⾃社ナレッジを保存する データベース u OpenAI(GPT3.5/GPT4)、Google(Vertex AI PaLM、Gemini)などに限定される u ファイル保存、ローカルデータベース、 クラウドサービスタイプなど各種 u AWS や Meta などの選択肢も増えつつある u ⽤途、好みに合わせて選択 © 2023 Asteria Corporation
RAGの処理の流れ on-premises / private cloud User Framework (LangChain etc..) Question [123][456]... Similar Doc VectorStore (FAISS etc..) public cloud Embedding (HuggingFace etc..) LLM (ChatGPT etc..) Question [123][456]... Prompt Answer Answer © 2023 Asteria Corporation
RAGを使う理由 ⾃社データは ⾃社管理下に n 全データを外部に 流さなくて良い n VectorStore ⾃体を 複数⽤意しても良い ベンダー ロックインしない n LLM や VectorStore、 設置する環境など特定の ベンダーに依存しない 最新技術への追従 n AIモデルに⾰新的な性能 向上があった場合など、 該当箇所のみ変更できる © 2023 Asteria Corporation
いくつかの VectorStore について 無料で出来る範囲で 簡単に検証してみました © 2023 Asteria © 2023 Corporation Asteria Corporation
n n n n n n n n MySQL 互換でSQLが通る クラウド版はAWS、Google、Azureを選べる クラウド版では無料DBは1つのみ テーブルは複数作れるので、カテゴリ分けなどに利⽤出来る しばらく利⽤していないとスリープに⼊るためWebUIで 「Resume」が必要(無料版のみ?) ⽇本Regionは無い、アメリカを使うほうが良さそう (シンガポールは謎のエラー発⽣) オンプレ版の最⼩構成は無料 クラウド版で試してから本番はオンプレで作る流れが良さそう © 2023 Asteria Corporation
Pricing © 2023 Asteria Corporation
n クラウドのみの提供 n 無料コースではデータベースに相当する「Index」は1つのみ n 1Index内でNamespaceで区切れるのでカテゴリ分けに n n 利⽤可能 Index作成時にDimension(Embedding Modelによって 異なる)を指定する Full Managed なので、クラウドに抵抗のない⼩規模 プロジェクトなど向きか © 2023 Asteria Corporation
Pricing © 2023 Asteria Corporation
FAISS n Meta(Facebook)製のベクターストアのオープンソース n n n ライブラリ 基本メモリ上で動き、永続化はファイルへ保存 メモリ容量や多重アクセスなど懸念がなければどこでも動く ⼀度作成して更新が殆どないようなものであれば向いて いるかも © 2023 Asteria Corporation
n Milvus のクラウド版という位置づけ n Project > Cluster > Collection という構成 n Cluster ごとに Endpoint と API キーが有る n 無料版はCollection は2つまで n Partition という概念がCollectionにあるが、ZilliZでは n n 使えず(It's deny API とのエラーメッセージ) カテゴリを分けるならCollection単位か 実験⽤途で無料版を使うのはありだが、その先は有料プラン かオープンソースのMilvusを検討したほうが良さそう © 2023 Asteria Corporation
Pricing © 2023 Asteria Corporation
Chroma n オープンソースのベクターストア n 2023Q4にCloudサービスを予定? n Python版、JavaScript版が提供中 n インメモリモードと、クライアントサーバーモデルがある n インメモリ版の永続化はファイル保存 n まだ発展途上だが、インメモリ、クラサバ、クラウドの選択 肢が後からでも取れるのは良さそう © 2023 Asteria Corporation
n 無料クラウド版は、クラスター名の⼊⼒、APIキーの取得後、 n n n n n USのAWSで作成され、ほぼ⼿間いらず オンプレ(Docker) Clusterの下にCollectionを作成 1Gまでであれば無料で永続利⽤が可能 GPU利⽤も可能で速度⾯は有利? ⼩規模な社内利⽤ならオンプレ/クラウドともに良さそう? © 2023 Asteria Corporation
Pricing © 2023 Asteria Corporation
VectorStore まとめ FAISS Chroma 概要 クラウド/オンプレ 無料体験 URL MySQL互換でSQLも通る VectorStore 両対応 クラウド版:600ドル分 まで無料 オンプレ:最⼩構成なら 無料 https://www.singlestore. com/ 無料から利⽤できるマネー ジドVectorStore クラウド 無料利⽤ではDBにあた るIndexは1つのみ https://www.pinecone.io / Facebook(Meta)作成ライ ブラリ オンプレ(インメモリ、 ファイル保存) 無料 https://faiss.ai/ Milvus の Cloud版とのこと だが、機能制限あり クラウド 最⼩構成は無料 $100の無料分/30⽇まで があり https://zilliz.com/ オープンソースの VectorStore オンプレ(インメモリ、 ファイル保存) 2023Q3にCloudサービス を予定 無料 https://www.trychroma.c om/ オープンソース GPU利⽤も可能 クラウド/オンプレ (Docker提供、インメ モリ、ファイル保存) クラウド:1GBまで無料 https://qdrant.tech/ © 2023 Asteria Corporation
オマケ Tips VectorStoreを ⾃動切り替え GUIで ノーコード開発 様々なデータ収集にも 「データ連携」が有⽤ n LangFlowというツールで LangChainのコードをGUI でプログラムコード無し で作ることができる n GUIで操作できるツールで 既存データの加⼯や ツールの切り替えなどが 便利 Chroma n LangChainの機能で、 説明書きに応じて複数の VectorStoreを使い分け 出来るものがある © 2023 Asteria Corporation
ご相談承ります 社内向けのセミナー ⾃社データ活⽤のアドバイス メール等でご連絡ください [email protected] © 2023 Asteria Corporation 21
事例:⼤⼿会計ソフトベンダー 開発メンバーへのアドバイスを⾏う「アドバイザリー契約」 社内向けセミナー n ⼊⾨・基本セミナー n RAG環境をレクチャー n サンプルプログラムの 提供(LangChain) 社内情報の活⽤ 環境の構築⽀援 n 社内⽂書のベクター データ化⽀援 n VectorStore選定協⼒ n 活⽤プログラム構築⽀援 毎週の勉強会⽀援 報告書・発表資料 作成⽀援 n 作成中プログラムや 環境へのアドバイス n 話題の新技術に関する 情報提供 n 報告書の原案作成 n 発表会資料の原案作成 n プレゼン⽅法に関する アドバイス → 具体的なアイデアの創出や若いメンバーのモチベーション向上に貢献 AI(⼤規模⾔語モデル)による⾃社データ活⽤について 詳細はアステリアまでお問い合わせください © 2023 Asteria Corporation