ChatGPTでつくる!資産を生かした自社専用チャットで業務効率化

6.7K Views

November 20, 23

スライド概要

2023年11月17日、パシフィコ横浜で開催された「EdgeTech+2023」 での講演内容です。

profile-image

アステリア株式会社エバンジェリスト ブロックチェーンやAIなど先端技術に関するお話をさせていただいています。

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

(ダウンロード不可)

関連スライド

各ページのテキスト
1.

ChatGPTでつくる! 資産を生かした自社専用チャットで 業務効率化 〜 LangChain と RAG環境 〜 アステリア株式会社 エバンジェリスト 森 ⼀弥 2023年11⽉17⽇ © 2023 Asteria Corporation

2.

アステリア株式会社 エバンジェリスト 森 ⼀弥 新しい技術の可能性を、未来の顧客に伝える 「ASTERIA」シリーズのシニアプロダクトマネージャーを経て、 ブロックチェーンに携わり、現在は AI や IoT など先端技術全般を担当 ⾃らプログラミングし経験した新技術の可能性、勘所を、 これから業務に採⽤する皆様にお伝えします n 講演・TV・雑誌取材(AI関連のみ抜粋) ITmedia:「ChatGPT」は業務をどう変えるのか? インプレス:今話題のAI「ChatGPT」とは何か? ⼈の仕事は奪われるのか? PC-Webzine:ChatGPTは何者か・ChatGPT の基礎解説と⽤途の可能性 Apps Japan:先端技術でリードする!ChatGPT による社内データの活⽤連携 メール等でご連絡ください [email protected] ⽣成AI協会 エバンジェリスト ITmedia 企画・原作 特許 © 2023 Asteria Corporation 2

3.

ChatGPT とは ⾃然⾔語処理の AIチャット OpenAIが 開発 誰でも無料で 使える ⽇本語にも対応した ⼤規模⾔語モデルを 使⽤したチャット イーロン・マスクが 創業に関わり マイクロソフトが 出資したAI研究所 ⼀部の有料 機能を除いて 誰でも利⽤可能 © 2023 Asteria Corporation 3

4.

そのままのChatGPTで使える応⽤術 ⽂書の 要約・翻訳 ⽂書の 雛形作成 プログラム ⽣成 ミスの指摘 校正 技術書や 論⽂の要約 ⽂書の翻訳 記事、契約書 帳票などの 雛形作成 雛形作成や テストデータの 作成 ⽂書や プログラムの ミスを指摘 もっと業務で応⽤できるのでは? © 2023 Asteria Corporation 4

5.

⾃社データやAPI を使って活⽤も サポート 業務⽀援 帳票作成 業務相談 アンケートや SNS分析 ボットで 時間の短縮 負担軽減など ⽉次・週次 レポート作成 分析・調査など 業務に関する 戦略などの相談や アイデア出しも ⼤量コメントを ⼀括に ポジネガ分析 業務に関わる仕組みに取り込めば効率化に貢献 © 2023 Asteria Corporation 5

6.

OpenAI Dev Day 11/7⽇(⽇本時間)にOpenAIの発表会が開催 ⼤幅の機能追加&アップデートあり これを踏まえた上での内容です (発表から間がないので⼗分に確認できていない部分もあります) © 2023 Asteria Corporation 6

7.

独⾃(⾃社)データの利⽤⽅法 ChatGPTで独⾃データを利⽤する⽅法をご紹介します ファイン チューニングで 追加学習 プラグインの 利⽤ ノーコード 開発(GPTs) ! W NE 前提知識を使った プロンプト エンジニアリング © 2023 Asteria Corporation 7

8.

独⾃(⾃社)データの利⽤⽅法 ① ファインチューニングで追加学習 「ファインチューニング」は学習済みのAIモデルを ベースに追加のデータで学習させる⽅法 © 2023 Asteria Corporation 8

9.

独⾃(⾃社)データの利⽤⽅法 ① ファインチューニングで追加学習 ⾃社⽤ モデルを作成 学習データを ⽤意 API利⽤では 漏洩しない 3.5の精度は いまひとつ? 4.0は 許可制 画⾯操作で 出来るように APIを使って ⾃社データを 学習させる JSONL 形式に 加⼯変換する 必要あり OpenAIの FAQに 記載あり 期待する 回答を得るの は難しい ⼤規模の データを持つ ⼤⼿のみ? OpenAIへの 漏洩は不明 1社、1部⾨、1カテゴリー等で使うのはそれほど向かない © 2023 Asteria Corporation 9

10.

独⾃(⾃社)データの利⽤⽅法 ② プラグインの利⽤ 「プラグイン」はChatGPT 4 で使える 様々な開発元が作成した追加機能 © 2023 Asteria Corporation 10

11.

独⾃(⾃社)データの利⽤⽅法 ② プラグインの利⽤ PDFやExcel 読み込み 有料版のみ 数ある中から 個別に選択 ⼤量データには 向かない 漏洩対策は ⼀応可能 社内のデータを 読み込ませる ことが可能 1ユーザーあたり ⽉額20ドルの 課⾦が必要 プラグイン選択済 状態で社員に提供 などは難しい 基本的には ファイル選択する ユーザーごとに オプトアウト 申請や設定 1担当者が⼀時的に使うのであれば良いが、組織的としては向かない © 2023 Asteria Corporation 11

12.

独⾃(⾃社)データの利⽤⽅法 ③ ノーコード開発(GPTs) ボット(GPT Builder)との会話や設定を埋めることで 独⾃チャットを作成できる新機能(ベータ版) © 2023 Asteria Corporation 12

13.

独⾃(⾃社)データの利⽤⽅法 ③ ノーコード開発(GPTs) 11/7 発表の 新機能 特定⽤途の カスタマイズ ノーコードで 開発できる 追加資料の 読み込み 漏洩対策は されていない? 公開直後から注⽬ GPTsストアも 出来る予定 特定の業務や 作業などが想定 されている チャットの やり取りで開発 (設定)できる ファイル選択する のみ 学習利⽤や インジェクション のリスクあり 公開データのみ利⽤したカジュアルなものが良さそう © 2023 Asteria Corporation 13

14.

独⾃(⾃社)データの利⽤⽅法 ④ 前提知識を使ったプロンプトエンジニアリング 索 新しく購⼊したPCでの、 プリンターの接続⽅法を 教えてほしい 関 連 情 報 を 検 質問者 社内の データベース (VectorStore) • 社内にはネットワーク プリンタがあります • プリンタのIPアドレスは 192.168.0.123です • プリンタのドライバは 社内のネット https://192.168.0.10/printerdriver にあります あなたは社内業務に関する オペレーターです。 以下の関連情報を踏まえた上 で、質問に回答してください。 ### 前提知識 ### ChatGPT ### 質問内容 ### © 2023 Asteria Corporation 14

15.

独⾃(⾃社)データの利⽤⽅法 ④ 前提知識を使ったプロンプトエンジニアリング 社内データの DBを⽤意 チャット内容と 似たものを検索 多少の開発は必要 社内データは 社内で管理 DBを複数⽤意 して使い分け VectorStore という専⽤ DBを⽤意 ベクトルデータを 元に関連するもの を検索 AIモデルを使った DBの構築など 開発は必要 全件社内で管理し 外に出るものは 制限かけられる ジャンルごとに DBを⽤意するこ とで様々な⽤途に 多少の開発を許容すれば社内データの活⽤に良さそう © 2023 Asteria Corporation 15

16.

独⾃(⾃社)データの利⽤⽅法 ファイン チューニングで 追加学習 プラグインの 利⽤ ノーコード 開発(GPTs) ! W E N 前提知識を使った プロンプト エンジニアリング RAG:Retrieval Augmented Generation(検索拡張⽣成) © 2023 Asteria Corporation 16

17.

必要な技術 Framework Vector Store Embedding プログラミングを シンプルにして 開発効率をアップ 社内の知識情報を ベクター化して保存し 類似検索を容易に ⽂章をベクター化する AIモデル © 2023 Asteria Corporation 17

18.

🦜🔗 LangChain とは ⼤規模⾔語モデル(LLM)を使ったプログラミングを 容易にするフレームワーク n 対応するLLMやVectorStoreが 次々と追加 n Python版とJavaScript版がある n AIモデルを同⼀環境で実⾏でき る(Python版) n ChatGPT以外のLLMも同じよう に使える n デファクトになりつつある 出典:https://www.langchain.com/ © 2023 Asteria Corporation 18

19.

Vector Store いろいろ Chroma FAISS クラウドサービスで使えるもの、ローカルで使えるものなど ⽤途に合わせて選択 © 2023 Asteria Corporation 19

20.

Embedding Embedding⽤の AIモデルはいろいろ ⾔語・⽤途に合った モデルを使う 蓄積⽤と検索は 同じモデルを使う © 2023 Asteria Corporation 20

21.

Hugging Face とは LLMやEmbedding、画像⽣成等、 様々なモデルを公開しているサイト n モデルをダウンロードして ローカル環境で実⾏できる n ブラウザを使ってその場で 実⾏できるものもあり n APIを使っての実⾏もあり n LangChainからももちろん 使える 出典:https://huggingface.co/ © 2023 Asteria Corporation 21

22.

OpenAI API の利⽤料について 課⾦の単位は 「トークン」 ちょっとの⼯夫で 節約 独⾃データは 別のEmbeddingでも © 2023 Asteria Corporation 22

23.

⾃社データを活⽤するための環境 on-premises / private cloud cloud LangChain OpenAI API User ⾃社データは 社内で セキュリティ 確保 VectorStore Service HuggingFace Embedding 無料の もので 節約 © 2023 Asteria Corporation 23

24.

RAGの処理の流れ on-premises / private cloud LangChain User Question [123][456]... Similar Doc VectorStore (FAISS etc..) public cloud Embedding (HuggingFace etc..) LLM (ChatGPT etc..) Question [123][456]... Prompt Answer Answer © 2023 Asteria Corporation 24

25.

実際に実験してみた環境 AWS EC2 OpenAI API Chroma c5.large Amazon Linux 2023 スポットリクエスト 従量課⾦ APIキーを取得 HuggingFace Embedding デフォルトで使える sentencetransformers 3.9.18 インストールは tmp領域の容量など 注意が必要 FAISS VectorStore 各種 ローカル/クラウド 両対応のものもあり SQLなど既存技術が 使えるものもあり GUI操作で LangChainの プログラムを作成 バージョンはまだ 0.xx なので、不安定な ところもあり LangChain pip install で インストール © 2023 Asteria Corporation 25

26.

LangFlow とは n 画⾯操作でLangChainの プログラムが作れる ノーコード開発環境 n 現在クラウド版は公開待ち状態 n ⾃分で環境を⽤意して インストールすることは可能 出典:https://www.langflow.org/ © 2023 Asteria Corporation 26

27.

LangFlow の例 その1 プログラムコードで説明するより 分かり易いので LangFlowで 作ってみました ⾃社データを 読み込んで VectorStoreに 保存する例 © 2023 Asteria Corporation 27

28.

Loader まずは社内⽂書を読み込みます n Web や PDF 、CSVなど n n 様々な形式のローダーあり URL やファイルパスなどを 設定 LangFlow の 環境から アクセス可能であれば データを取得できる © 2023 Asteria Corporation 28

29.

Text Splitter ⽂書を必要なサイズに分割します n 分割する単位(Chunk)の設定を⼊⼒ u ⽂字数 u 前後のChunkとの重複⽂字数 u ⽂章の区切り⽂字(句読点や改⾏など) n ⽂書によって試⾏錯誤する必要がある u ⼤きすぎるとトークンを消費しコスト⾼ u ⼩さすぎると回答の品質に影響 © 2023 Asteria Corporation 29

30.

Embedding ベクトル化するためのAIモデルを指定します n HuggingFace の場合は利⽤す るモデルを選択 (モデルはインストールしておく) n ⼿元の環境ではなくOpenAI APIなどリモートで実⾏する ものはキーなどアクセス情報も 必要 © 2023 Asteria Corporation 30

31.

VectorStore 保存する VectorStore を指定します n APIキーやロケーションなど アクセスするための情報を設定 n クラウドやファイルに保存する ものなど⽤途に合わせて利⽤ n テーブル定義などはLangChain 側でやってくれるものが多い © 2023 Asteria Corporation 31

32.

VectorStoreInfo VectorStore の名称と説明を指定 n 説明内容を判断して、必要 な情報を持つVectorStore のみを参照させる n 複数のVectorStoreを使い分け る場合は⽤途や保存された内容 などを詳しく記載する⽅が良い © 2023 Asteria Corporation 32

33.

LangFlowの例 その2 複数のVectorStore を参照して 受け答えする チャットの例 © 2023 Asteria Corporation 33

34.

LLM チャットのための⼤規模⾔語モデル(LLM)を指定 n OpenAI他、Google Vertex AI や HuggingFace 等選択可能 n ご⾃⾝の環境で⾏う場合は、 ある程度以上のマシンスペック が必要 n 精度、スピード等を考慮すると 現状はOpenAIで⾏うのが妥当か © 2023 Asteria Corporation 34

35.

Agent 処理をまとめるエージェントを指定 n 接続したLLMなどをうまく繋げて 受け答えしてくれる u 実際はプロンプトを⽣成している n 今回は複数のVectorStoreを選択し てくれるエージェントを使⽤ u 複数のVectorStoreから説明書きを元に 必要なものを使⽤してくれる © 2023 Asteria Corporation 35

36.

Chat 出来上がった処理はすぐ試してみることが出来る n 現状、多少操作に難があった u ⽇本語⼊⼒は⼀応通る u EnterキーでSendされてしまうので、漢 字変換中に送ってしまうことが多々あっ た n 試⾏錯誤しやすい u 設定数値の変更で動作がどう変化するか すぐ試せる n エラーはログやコマンドを 確認する必要あり u チャット画⾯上はエラー表⽰されない © 2023 Asteria Corporation 36

37.

LangFlowのメリット・デメリット ノーコード ⾒える化 ツールの切り替え が容易 発展途上で 不安定 情報不⾜ プログラム開発は 必要ない 処理の流れが ⼀⽬瞭然 複数のツールを 切り替えて試せる バージョン 0.X.X なのである程度は 致し⽅なし ヘルプ、ネットの 情報など 多くはない 流れの確認や、LLMやVectorStore等の評価などはできる © 2023 Asteria Corporation 37

38.

企業向けノーコード製品をお探しなら・・ 社内システムやクラウドの「データ連携」でシェアNo.1※ 「アステリア ワープ」 n アイコンを並べていく n n ノーコード開発環境 10,000社以上の 導⼊実績! 対応データソース 100種以上 AIに特化しているわけではありませんが、社内データ収集やVectorStoreへの投⼊、OpenAI APIのコールなどが可能です ※ テクノ・システム・リサーチ「2023年ソフトウェアマーケティング総覧 EAI/ESB 市場編」 © 2023 Asteria Corporation 38

39.

まとめ 社内の情報資産を⽣かしたAI活⽤するなら・・・ Vector Store で RAG環境 試すだけなら ChatGPT Plus on-premises / private cloud 試⾏錯誤は ノーコード cloud LangChain OpenAI API User VectorStore Service ⽉額$20の有料版で ⾃社のファイル等 読めます Hugging Face Embedding 社内の知識情報を 活⽤したいなら ご検討を Field1 Column1 Field2 Column2 Field3 Column3 Field4 Column4 プログラムより 簡単便利で 仕様書代わりにも © 2023 Asteria Corporation 39

40.

個別のご相談も承ります 社内向けのセミナー ⾃社データ活⽤のアドバイス メール等でご連絡ください [email protected] © 2023 Asteria Corporation 40

41.

事例:⼤⼿会計ソフトベンダー 開発メンバーへのアドバイスを⾏う「アドバイザリー契約」 社内向けセミナー n ⼊⾨・基本セミナー n RAG環境をレクチャー n サンプルプログラムの 提供(LangChain) 社内情報の活⽤ 環境の構築⽀援 n 社内⽂書のベクター データ化⽀援 n VectorStore選定協⼒ n 活⽤プログラム構築⽀援 毎週の勉強会⽀援 報告書・発表資料 作成⽀援 n 作成中プログラムや 環境へのアドバイス n 話題の新技術に関する 情報提供 n 報告書の原案作成 n 発表会資料の原案作成 n プレゼン⽅法に関する アドバイス → 具体的なアイデアの創出や若いメンバーのモチベーション向上に貢献 AI(⼤規模⾔語モデル)による⾃社データ活⽤について 詳細はアステリアまでお問い合わせください © 2023 Asteria Corporation 41