ChatGPTでつくる！資産を生かした自社専用チャットで業務効率化

ChatGPTでつくる！ 資産を生かした自社専用チャットで 業務効率化 〜 LangChain と RAG環境 〜 アステリア株式会社 エバンジェリスト 森 ⼀弥 2023年11⽉17⽇ © 2023 Asteria Corporation

アステリア株式会社 エバンジェリスト 森 ⼀弥 新しい技術の可能性を、未来の顧客に伝える 「ASTERIA」シリーズのシニアプロダクトマネージャーを経て、 ブロックチェーンに携わり、現在は AI や IoT など先端技術全般を担当 ⾃らプログラミングし経験した新技術の可能性、勘所を、 これから業務に採⽤する皆様にお伝えします n 講演・TV・雑誌取材（AI関連のみ抜粋） ITmedia：「ChatGPT」は業務をどう変えるのか？ インプレス：今話題のAI「ChatGPT」とは何か? ⼈の仕事は奪われるのか? PC-Webzine：ChatGPTは何者か・ChatGPT の基礎解説と⽤途の可能性 Apps Japan：先端技術でリードする！ChatGPT による社内データの活⽤連携 メール等でご連絡ください [email protected] ⽣成AI協会 エバンジェリスト ITmedia 企画・原作 特許 © 2023 Asteria Corporation 2

ChatGPT とは ⾃然⾔語処理の AIチャット OpenAIが 開発 誰でも無料で 使える ⽇本語にも対応した ⼤規模⾔語モデルを 使⽤したチャット イーロン・マスクが 創業に関わり マイクロソフトが 出資したAI研究所 ⼀部の有料 機能を除いて 誰でも利⽤可能 © 2023 Asteria Corporation 3

そのままのChatGPTで使える応⽤術 ⽂書の 要約・翻訳 ⽂書の 雛形作成 プログラム ⽣成 ミスの指摘 校正 技術書や 論⽂の要約 ⽂書の翻訳 記事、契約書 帳票などの 雛形作成 雛形作成や テストデータの 作成 ⽂書や プログラムの ミスを指摘 もっと業務で応⽤できるのでは？ © 2023 Asteria Corporation 4

⾃社データやAPI を使って活⽤も サポート 業務⽀援 帳票作成 業務相談 アンケートや SNS分析 ボットで 時間の短縮 負担軽減など ⽉次・週次 レポート作成 分析・調査など 業務に関する 戦略などの相談や アイデア出しも ⼤量コメントを ⼀括に ポジネガ分析 業務に関わる仕組みに取り込めば効率化に貢献 © 2023 Asteria Corporation 5

OpenAI Dev Day 11/7⽇（⽇本時間）にOpenAIの発表会が開催 ⼤幅の機能追加＆アップデートあり これを踏まえた上での内容です （発表から間がないので⼗分に確認できていない部分もあります） © 2023 Asteria Corporation 6

独⾃（⾃社）データの利⽤⽅法 ChatGPTで独⾃データを利⽤する⽅法をご紹介します ファイン チューニングで 追加学習 プラグインの 利⽤ ノーコード 開発（GPTs） ! W NE 前提知識を使った プロンプト エンジニアリング © 2023 Asteria Corporation 7

独⾃（⾃社）データの利⽤⽅法 ① ファインチューニングで追加学習 「ファインチューニング」は学習済みのAIモデルを ベースに追加のデータで学習させる⽅法 © 2023 Asteria Corporation 8

独⾃（⾃社）データの利⽤⽅法 ① ファインチューニングで追加学習 ⾃社⽤ モデルを作成 学習データを ⽤意 API利⽤では 漏洩しない 3.5の精度は いまひとつ？ 4.0は 許可制 画⾯操作で 出来るように APIを使って ⾃社データを 学習させる JSONL 形式に 加⼯変換する 必要あり OpenAIの FAQに 記載あり 期待する 回答を得るの は難しい ⼤規模の データを持つ ⼤⼿のみ？ OpenAIへの 漏洩は不明 1社、1部⾨、1カテゴリー等で使うのはそれほど向かない © 2023 Asteria Corporation 9

独⾃（⾃社）データの利⽤⽅法 ② プラグインの利⽤ 「プラグイン」はChatGPT 4 で使える 様々な開発元が作成した追加機能 © 2023 Asteria Corporation 10

独⾃（⾃社）データの利⽤⽅法 ② プラグインの利⽤ PDFやExcel 読み込み 有料版のみ 数ある中から 個別に選択 ⼤量データには 向かない 漏洩対策は ⼀応可能 社内のデータを 読み込ませる ことが可能 1ユーザーあたり ⽉額20ドルの 課⾦が必要 プラグイン選択済 状態で社員に提供 などは難しい 基本的には ファイル選択する ユーザーごとに オプトアウト 申請や設定 1担当者が⼀時的に使うのであれば良いが、組織的としては向かない © 2023 Asteria Corporation 11

独⾃（⾃社）データの利⽤⽅法 ③ ノーコード開発（GPTs） ボット（GPT Builder）との会話や設定を埋めることで 独⾃チャットを作成できる新機能（ベータ版） © 2023 Asteria Corporation 12

独⾃（⾃社）データの利⽤⽅法 ③ ノーコード開発（GPTs） 11/7 発表の 新機能 特定⽤途の カスタマイズ ノーコードで 開発できる 追加資料の 読み込み 漏洩対策は されていない？ 公開直後から注⽬ GPTsストアも 出来る予定 特定の業務や 作業などが想定 されている チャットの やり取りで開発 （設定）できる ファイル選択する のみ 学習利⽤や インジェクション のリスクあり 公開データのみ利⽤したカジュアルなものが良さそう © 2023 Asteria Corporation 13

独⾃（⾃社）データの利⽤⽅法 ④ 前提知識を使ったプロンプトエンジニアリング 索 新しく購⼊したPCでの、 プリンターの接続⽅法を 教えてほしい 関 連 情 報 を 検 質問者 社内の データベース （VectorStore） • 社内にはネットワーク プリンタがあります • プリンタのIPアドレスは 192.168.0.123です • プリンタのドライバは 社内のネット https://192.168.0.10/printerdriver にあります あなたは社内業務に関する オペレーターです。 以下の関連情報を踏まえた上 で、質問に回答してください。 ### 前提知識 ### ChatGPT ### 質問内容 ### © 2023 Asteria Corporation 14

• https://192.168.0.10/printer-

独⾃（⾃社）データの利⽤⽅法 ④ 前提知識を使ったプロンプトエンジニアリング 社内データの DBを⽤意 チャット内容と 似たものを検索 多少の開発は必要 社内データは 社内で管理 DBを複数⽤意 して使い分け VectorStore という専⽤ DBを⽤意 ベクトルデータを 元に関連するもの を検索 AIモデルを使った DBの構築など 開発は必要 全件社内で管理し 外に出るものは 制限かけられる ジャンルごとに DBを⽤意するこ とで様々な⽤途に 多少の開発を許容すれば社内データの活⽤に良さそう © 2023 Asteria Corporation 15

独⾃（⾃社）データの利⽤⽅法 ファイン チューニングで 追加学習 プラグインの 利⽤ ノーコード 開発（GPTs） ! W E N 前提知識を使った プロンプト エンジニアリング RAG：Retrieval Augmented Generation（検索拡張⽣成） © 2023 Asteria Corporation 16

必要な技術 Framework Vector Store Embedding プログラミングを シンプルにして 開発効率をアップ 社内の知識情報を ベクター化して保存し 類似検索を容易に ⽂章をベクター化する AIモデル © 2023 Asteria Corporation 17

🦜🔗 LangChain とは ⼤規模⾔語モデル（LLM）を使ったプログラミングを 容易にするフレームワーク n 対応するLLMやVectorStoreが 次々と追加 n Python版とJavaScript版がある n AIモデルを同⼀環境で実⾏でき る（Python版） n ChatGPT以外のLLMも同じよう に使える n デファクトになりつつある 出典：https://www.langchain.com/ © 2023 Asteria Corporation 18

Vector Store いろいろ Chroma FAISS クラウドサービスで使えるもの、ローカルで使えるものなど ⽤途に合わせて選択 © 2023 Asteria Corporation 19

Embedding Embedding⽤の AIモデルはいろいろ ⾔語・⽤途に合った モデルを使う 蓄積⽤と検索は 同じモデルを使う © 2023 Asteria Corporation 20

Hugging Face とは LLMやEmbedding、画像⽣成等、 様々なモデルを公開しているサイト n モデルをダウンロードして ローカル環境で実⾏できる n ブラウザを使ってその場で 実⾏できるものもあり n APIを使っての実⾏もあり n LangChainからももちろん 使える 出典：https://huggingface.co/ © 2023 Asteria Corporation 21

OpenAI API の利⽤料について 課⾦の単位は 「トークン」 ちょっとの⼯夫で 節約 独⾃データは 別のEmbeddingでも © 2023 Asteria Corporation 22

⾃社データを活⽤するための環境 on-premises / private cloud cloud LangChain OpenAI API User ⾃社データは 社内で セキュリティ 確保 VectorStore Service HuggingFace Embedding 無料の もので 節約 © 2023 Asteria Corporation 23

RAGの処理の流れ on-premises / private cloud LangChain User Question [123][456]... Similar Doc VectorStore （FAISS etc..） public cloud Embedding （HuggingFace etc..） LLM （ChatGPT etc..） Question [123][456]... Prompt Answer Answer © 2023 Asteria Corporation 24

実際に実験してみた環境 AWS EC2 OpenAI API Chroma c5.large Amazon Linux 2023 スポットリクエスト 従量課⾦ APIキーを取得 HuggingFace Embedding デフォルトで使える sentencetransformers 3.9.18 インストールは tmp領域の容量など 注意が必要 FAISS VectorStore 各種 ローカル/クラウド 両対応のものもあり SQLなど既存技術が 使えるものもあり GUI操作で LangChainの プログラムを作成 バージョンはまだ 0.xx なので、不安定な ところもあり LangChain pip install で インストール © 2023 Asteria Corporation 25

LangFlow とは n 画⾯操作でLangChainの プログラムが作れる ノーコード開発環境 n 現在クラウド版は公開待ち状態 n ⾃分で環境を⽤意して インストールすることは可能 出典：https://www.langflow.org/ © 2023 Asteria Corporation 26

LangFlow の例 その１ プログラムコードで説明するより 分かり易いので LangFlowで 作ってみました ⾃社データを 読み込んで VectorStoreに 保存する例 © 2023 Asteria Corporation 27

Loader まずは社内⽂書を読み込みます n Web や PDF 、CSVなど n n 様々な形式のローダーあり URL やファイルパスなどを 設定 LangFlow の 環境から アクセス可能であれば データを取得できる © 2023 Asteria Corporation 28

Text Splitter ⽂書を必要なサイズに分割します n 分割する単位（Chunk）の設定を⼊⼒ u ⽂字数 u 前後のChunkとの重複⽂字数 u ⽂章の区切り⽂字（句読点や改⾏など） n ⽂書によって試⾏錯誤する必要がある u ⼤きすぎるとトークンを消費しコスト⾼ u ⼩さすぎると回答の品質に影響 © 2023 Asteria Corporation 29

Embedding ベクトル化するためのAIモデルを指定します n HuggingFace の場合は利⽤す るモデルを選択 （モデルはインストールしておく） n ⼿元の環境ではなくOpenAI APIなどリモートで実⾏する ものはキーなどアクセス情報も 必要 © 2023 Asteria Corporation 30

VectorStore 保存する VectorStore を指定します n APIキーやロケーションなど アクセスするための情報を設定 n クラウドやファイルに保存する ものなど⽤途に合わせて利⽤ n テーブル定義などはLangChain 側でやってくれるものが多い © 2023 Asteria Corporation 31

VectorStoreInfo VectorStore の名称と説明を指定 n 説明内容を判断して、必要 な情報を持つVectorStore のみを参照させる n 複数のVectorStoreを使い分け る場合は⽤途や保存された内容 などを詳しく記載する⽅が良い © 2023 Asteria Corporation 32

LangFlowの例 その２ 複数のVectorStore を参照して 受け答えする チャットの例 © 2023 Asteria Corporation 33

LLM チャットのための⼤規模⾔語モデル（LLM）を指定 n OpenAI他、Google Vertex AI や HuggingFace 等選択可能 n ご⾃⾝の環境で⾏う場合は、 ある程度以上のマシンスペック が必要 n 精度、スピード等を考慮すると 現状はOpenAIで⾏うのが妥当か © 2023 Asteria Corporation 34

Agent 処理をまとめるエージェントを指定 n 接続したLLMなどをうまく繋げて 受け答えしてくれる u 実際はプロンプトを⽣成している n 今回は複数のVectorStoreを選択し てくれるエージェントを使⽤ u 複数のVectorStoreから説明書きを元に 必要なものを使⽤してくれる © 2023 Asteria Corporation 35

Chat 出来上がった処理はすぐ試してみることが出来る n 現状、多少操作に難があった u ⽇本語⼊⼒は⼀応通る u EnterキーでSendされてしまうので、漢 字変換中に送ってしまうことが多々あっ た n 試⾏錯誤しやすい u 設定数値の変更で動作がどう変化するか すぐ試せる n エラーはログやコマンドを 確認する必要あり u チャット画⾯上はエラー表⽰されない © 2023 Asteria Corporation 36

LangFlowのメリット・デメリット ノーコード ⾒える化 ツールの切り替え が容易 発展途上で 不安定 情報不⾜ プログラム開発は 必要ない 処理の流れが ⼀⽬瞭然 複数のツールを 切り替えて試せる バージョン 0.X.X なのである程度は 致し⽅なし ヘルプ、ネットの 情報など 多くはない 流れの確認や、LLMやVectorStore等の評価などはできる © 2023 Asteria Corporation 37

企業向けノーコード製品をお探しなら・・ 社内システムやクラウドの「データ連携」でシェアNo.1※ 「アステリア ワープ」 n アイコンを並べていく n n ノーコード開発環境 10,000社以上の 導⼊実績！ 対応データソース 100種以上 AIに特化しているわけではありませんが、社内データ収集やVectorStoreへの投⼊、OpenAI APIのコールなどが可能です ※ テクノ・システム・リサーチ「2023年ソフトウェアマーケティング総覧 EAI/ESB 市場編」 © 2023 Asteria Corporation 38

まとめ 社内の情報資産を⽣かしたAI活⽤するなら・・・ Vector Store で RAG環境 試すだけなら ChatGPT Plus on-premises / private cloud 試⾏錯誤は ノーコード cloud LangChain OpenAI API User VectorStore Service ⽉額$20の有料版で ⾃社のファイル等 読めます Hugging Face Embedding 社内の知識情報を 活⽤したいなら ご検討を Field1 Column1 Field2 Column2 Field3 Column3 Field4 Column4 プログラムより 簡単便利で 仕様書代わりにも © 2023 Asteria Corporation 39

個別のご相談も承ります 社内向けのセミナー ⾃社データ活⽤のアドバイス メール等でご連絡ください [email protected] © 2023 Asteria Corporation 40

事例：⼤⼿会計ソフトベンダー 開発メンバーへのアドバイスを⾏う「アドバイザリー契約」 社内向けセミナー n ⼊⾨・基本セミナー n RAG環境をレクチャー n サンプルプログラムの 提供（LangChain） 社内情報の活⽤ 環境の構築⽀援 n 社内⽂書のベクター データ化⽀援 n VectorStore選定協⼒ n 活⽤プログラム構築⽀援 毎週の勉強会⽀援 報告書・発表資料 作成⽀援 n 作成中プログラムや 環境へのアドバイス n 話題の新技術に関する 情報提供 n 報告書の原案作成 n 発表会資料の原案作成 n プレゼン⽅法に関する アドバイス → 具体的なアイデアの創出や若いメンバーのモチベーション向上に貢献 AI（⼤規模⾔語モデル）による⾃社データ活⽤について 詳細はアステリアまでお問い合わせください © 2023 Asteria Corporation 41