【DeNATechCon2024】生成系AI社内導入への道のりと成果
11.1K Views
February 29, 24
スライド概要
この1年間で生成系 AI がとても身近なものになりました。事業での活用はもちろん、社内業務の改善にも生成系AIは非常に有効だと考えています。一方で、生成系 AI の社内導入には多くの課題が伴います。
私たち IT 戦略部は DeNA グループ全体の社内 IT を統括している部門です。本登壇では IT 戦略部が生成系 AI の全社導入を目指し、取り組んだ内容や成果を紹介します。現在、生成系 AI の導入に取り組んでいる方や、これから取り組みたいと考えている方々にとって、私たちの経験が実際の参考になると考えています。
DeNA が社会の技術向上に貢献するため、業務で得た知見を積極的に外部に発信する、DeNA 公式のアカウントです。DeNA エンジニアの登壇資料をお届けします。
関連スライド
各ページのテキスト
⽣成系 AI 社内導⼊への道のりと成果 DeNA IT戦略部システム開発グループ グループマネージャー DeNA IT戦略部 部⻑ ⼩⼭ 達也 ⻑⾕川 淳 © DeNA Co., Ltd.
⾃⼰紹介 ⻑⾕川 淳 | Jun Hasegawa 株式会社ディー‧エヌ‧エー IT本部IT戦略部 部⻑ ● ● © DeNA Co., Ltd. まだどうしても開発が好きな部⻑ 兼 ドラマー 2
やってきたこと AI戦略推進室兼務。 ゲーム特化の⽂章校正 ⽀援ツール開発。 DeNA 参画。ID統合管 理、基幹システム刷新の 開発リード。 2017/01 2006/04 © DeNA Co., Ltd. 2022/04 2019/11 2009/04 デザインの会社で ひとりIT。ECサイ トやガラケーアプ リの開発。 IT戦略部 部⻑。 部内外の⼈達に助 けて貰う⽇々。 エンタープライズソ リューションG グルー プマネージャー。基幹 システム開発･運⽤。 現在 技術推進G グループ マネージャー兼務。 SaaS/ソフトウェア の調達･運⽤。 3
⽬次 1. ⽣成系AIの社内利⽤に向けた取り組み 2. 社内向けChatGPT「ChatAI」の提供 3. IT戦略部内でのChatAI活⽤事例 © DeNA Co., Ltd. 4
⽬次 1. ⽣成系AIの社内利⽤に向けた取り組み 2. 社内向けChatGPT「ChatAI」の提供 3. IT戦略部内でのChatAI活⽤事例 © DeNA Co., Ltd. 5
⽣成系AI社内活⽤に向けた取り組み 2022/05 AIガバナンスの強化の具体検討を開始 2022/11 ChatGPTリリース 2023/03 DeNAグループ AIポリシー策定/公開 ⽣成系AIサービス社内利⽤観点マニュアル策定/社内公開 2023/07 ⽣成系AIの社内導⼊を推進するタスクフォースの設置 社内向けChatGPT「ChatAI (Developed by ITS)」提供 2023/08 GitHub Copilot for Business 導⼊ 2023/09 ChatAIでRAG対応 (社内ナレッジから回答するモデルの提供開始) ツール試⽤申請 運⽤開始 2023/11 全社へ向けてAIリテラシー研修の実施 (ChatAI全社展開) 2024/02 DeNAグループAIガイドライン策定/社内公開 © DeNA Co., Ltd. 6
⽣成系AI社内活⽤に向けた取り組み 2022/05 AIガバナンスの強化の具体検討を開始 2022/11 ChatGPTリリース 2023/03 DeNAグループ AIポリシー策定/公開 ⽣成系AIサービス社内利⽤観点マニュアル策定/社内公開 2023/07 ⽣成系AIの社内導⼊を推進するタスクフォースの設置 社内向けChatGPT「ChatAI (Developed by ITS)」提供 2023/08 GitHub Copilot for Business 導⼊ 2023/09 ChatAIでRAG対応 (社内ナレッジから回答するモデルの提供開始) ツール試⽤申請 運⽤開始 2023/11 全社へ向けてAIリテラシー研修の実施 (ChatAI全社展開) 2024/02 DeNAグループAIガイドライン策定/社内公開 © DeNA Co., Ltd. 7
⽣成系AI社内活⽤に向けた取り組み 2022/05 AIガバナンスの強化の具体検討を開始 2022/11 ChatGPTリリース 2023/03 DeNAグループ AIポリシー策定/公開 ⽣成系AIサービス社内利⽤観点マニュアル策定/社内公開 2023/07 ⽣成系AIの社内導⼊を推進するタスクフォースの設置 社内向けChatGPT「ChatAI (Developed by ITS)」提供 2023/08 GitHub Copilot for Business 導⼊ 2023/09 ChatAIでRAG対応 (社内ナレッジから回答するモデルの提供開始) ツール試⽤申請 運⽤開始 2023/11 全社へ向けてAIリテラシー研修の実施 (ChatAI全社展開) 2024/02 DeNAグループAIガイドライン策定/社内公開 © DeNA Co., Ltd. 8
DeNAグループ AIポリシー 参考 ⽬的 法令を遵守し、AIの適切な利活⽤をグループ全体で推進していく指針 内容（最終項⽬抜粋） 新しいDelightを届けるために DeNAグループは、臆することなく新しいAI技術やサービスに挑戦すると共 に、AIが社会に もたらす課題に対して誠実に向き合い、克服できるように 努め、想像を超えるDelightをこれからも届けていきます。 © DeNA Co., Ltd. 9
⽣成系AIサービス社内利⽤観点マニュアル ⽬的 ⽣成系AIサービスを利⽤する上でのリスクの考え⽅、安全な利⽤を促す⽬ 的でまとめたマニュアル 内容 ● ● ● © DeNA Co., Ltd. ⽣成系AIのリスク それらリスクに対する対応 ○ 権利を持っていないデータを⼊⼒しない ○ Human in the Loopの徹底 など 使ってみたい⽣成系AIがあった場合の利⽤開始⼿順 10
⽣成系AI社内活⽤に向けた取り組み 2022/05 AIガバナンスの強化の具体検討を開始 2022/11 ChatGPTリリース 2023/03 DeNAグループ AIポリシー策定/公開 ⽣成系AIサービス社内利⽤観点マニュアル策定/社内公開 2023/07 ⽣成系AIの社内導⼊を推進するタスクフォースの設置 社内向けChatGPT「ChatAI (Developed by ITS)」提供 2023/08 GitHub Copilot for Business 導⼊ 2023/09 ChatAIでRAG対応 (社内ナレッジから回答するモデルの提供開始) ツール試⽤申請 運⽤開始 2023/11 全社へ向けてAIリテラシー研修の実施 (ChatAI全社展開) 2024/02 DeNAグループAIガイドライン策定/社内公開 © DeNA Co., Ltd. 11
⽣成系AI社内活⽤に向けた取り組み 2022/05 AIガバナンスの強化の具体検討を開始 2022/11 ChatGPTリリース 2023/03 DeNAグループ AIポリシー策定/公開 ⽣成系AIサービス社内利⽤観点マニュアル策定/社内公開 2023/07 ⽣成系AIの社内導⼊を推進するタスクフォースの設置 社内向けChatGPT「ChatAI (Developed by ITS)」提供 2023/08 GitHub Copilot for Business 導⼊ 2023/09 ChatAIでRAG対応 (社内ナレッジから回答するモデルの提供開始) ツール試⽤申請 運⽤開始 2023/11 全社へ向けてAIリテラシー研修の実施 (ChatAI全社展開) 2024/02 DeNAグループAIガイドライン策定/社内公開 © DeNA Co., Ltd. 12
⽣成系AI社内活⽤に向けた取り組み 2022/05 AIガバナンスの強化の具体検討を開始 2022/11 ChatGPTリリース 2023/03 DeNAグループ AIポリシー策定/公開 ⽣成系AIサービス社内利⽤観点マニュアル策定/社内公開 2023/07 ⽣成系AIの社内導⼊を推進するタスクフォースの設置 社内向けChatGPT「ChatAI (Developed by ITS)」提供 2023/08 GitHub Copilot for Business 導⼊ 2023/09 ChatAIでRAG対応 (社内ナレッジから回答するモデルの提供開始) ツール試⽤申請 運⽤開始 2023/11 全社へ向けてAIリテラシー研修の実施 (ChatAI全社展開) 2024/02 DeNAグループAIガイドライン策定/社内公開 © DeNA Co., Ltd. 13
⽣成系AI社内活⽤に向けた取り組み 2022/05 AIガバナンスの強化の具体検討を開始 2022/11 ChatGPTリリース 2023/03 DeNAグループ AIポリシー策定/公開 ⽣成系AIサービス社内利⽤観点マニュアル策定/社内公開 2023/07 ⽣成系AIの社内導⼊を推進するタスクフォースの設置 社内向けChatGPT「ChatAI (Developed by ITS)」提供 2023/08 GitHub Copilot for Business 導⼊ 2023/09 ChatAIでRAG対応 (社内ナレッジから回答するモデルの提供開始) ツール試⽤申請 運⽤開始 2023/11 全社へ向けてAIリテラシー研修の実施 (ChatAI全社展開) 2024/02 DeNAグループAIガイドライン策定/社内公開 © DeNA Co., Ltd. 14
ここまでのまとめ 『制限ではなく活⽤のためのルール作りである』 『特定の部署や職種だけではなく全社で考える』 © DeNA Co., Ltd. 15
⽬次 1. ⽣成系AIの社内利⽤に向けた取り組み 2. 社内向けChatGPT「ChatAI」の提供 3. IT戦略部内でのChatAI活⽤事例 © DeNA Co., Ltd. 16
社内向けChatGPT「ChatAI(Developed by ITS)」 ※以後「ChatAI」 コンセプト 最速で全従業員にAIを使って もらう 特徴 ● Slack Bot ● Azure OpenAI Service © DeNA Co., Ltd. 17
【ChatAI】BasicModel機能 素のGPT-3.5-Turbo, GPT-4 とのプロンプト © DeNA Co., Ltd. 18
【ChatAI】InternalModel機能 質問すると、社内向けナ レッジから回答します。 （RAG) 社内ルールの検索等に利⽤ できます。 例. PCの交換申請、セキュ リティルールの検索など © DeNA Co., Ltd. 19
【ChatAI】ClosedModel機能 特定の部署‧プロジェクト に閉じたナレッジから回答 するモデル。 システム仕様の検索等に活 ⽤。 © DeNA Co., Ltd. 20
【ChatAI】CustomSystemPromptModel機能 事前にSystemPromptを設 定しておくことが可能 © DeNA Co., Ltd. 21
【ChatAI】アーキテクチャ GCP Cloud Scheduler Confluence Slack Cloud Run Cloud Run jobs Cloud SQL for PostgreSQL + pgvector Zendesk Azure OpenAI Service © DeNA Co., Ltd. 22
【ChatAI】InternalModelの仕組み = RAG Confluence 1 Cloud Run jobs (Batch) HTML ↓ TEXT Zendesk 2 TextSplitter 3 5 ベクトル化 4 Cloud SQL for PostgreSQL + pgvector Embedding API 8 Cloud Run 6 Slack 質問要約 7 （GPT-4） 回答⽣成 （GPT-4） © DeNA Co., Ltd. 11 9 ベクトル化 ベクトル検索 ナレッジ⽂ （上位3つ） 10 23
【ChatAI】ClosedModelの仕組み = RAG+α α = 参照できるナレッジのコントロール ClosedModel⽤Googleグループ OO部XXグループ⽤モデル OO部XXグループ ClosedModel⽤Googleグループ © DeNA Co., Ltd. 24
【ChatAI】ClosedModelの仕組み = RAG+α（別案） 単⼀のモデル アクセス者に応じて フィルター © DeNA Co., Ltd. ✕ 25
【ChatAI】ClosedModelの権限管理のメリデメ モデル⾃体を分けて、モデルへのアクセス権を管理する⽅法だと... © DeNA Co., Ltd. ● メリット ○ 設計∕実装がシンプル ■ 早く提供できる ■ リスクが低い ○ 各モデルごとにカスタマイズが可能 ● デメリット ○ 各モデル横断での会話‧ナレッジ検索が不可 26
⽬次 1. ⽣成系AIの社内利⽤に向けた取り組み 2. 社内向けChatGPT「ChatAI」の提供 3. IT戦略部内でのChatAI活⽤事例 © DeNA Co., Ltd. 27
【部内での活⽤事例】ヘルプデスクBefore 全従業員 社内向けヘルプデスク Confluence IT戦略部 経理, ⼈事 © DeNA Co., Ltd. Zendesk 28
【部内での活⽤事例】ヘルプデスクAfter 社内向けヘルプデスク 全従業員 ChatAI InternalModel IT戦略部 ● ● ● © DeNA Co., Ltd. ユーザー体験は維持 AIの実践的性能の記録 ⼯数と待ち時間を削減 経理, ⼈事 29
【部内での活⽤事例】現状の分析 ● ● ● © DeNA Co., Ltd. 現状でも25%の質問 に有効 RAGの精度が問題に なるケースは限定的 「ナレッジ不⾜」で 回答できないケース が圧倒的に多い 30
【部内での活⽤事例】現在の取り組み 『ナレッジの拡充』 ● © DeNA Co., Ltd. 様々な問い合わせにどう対応すべきかの教訓集 31
【部内での活⽤事例】現在の取り組み 『ナレッジの⾃動拡充』 ● ● © DeNA Co., Ltd. 様々な問い合わせにどう対応すべきかの模範解答集 ⼈間同⼠の⽣のやり取りを AI で匿名化し、教訓を抽出 32
【部内での活⽤事例】⽣成されたナレッジ ⾒出しレベルはプロンプトで固定 ● タイトル ● 対応時期 ● ユーザーの最初の問い合わせ ● ユーザーが本当にしたかったこと ● どうやって解決したか ● 同様の問い合わせに対して実施すること ○ ○ ○ ● ● © DeNA Co., Ltd. ユーザーの意図を理解するための質問 ヘルプデスク側で⾏うべき作業･確認 ユーザー側で⾏っていただく作業･確認 関連リンク 免責事項 33
【部内での活⽤事例】ナレッジ追加の効果 © DeNA Co., Ltd. 34
全体のまとめ ● ● ● ● ● © DeNA Co., Ltd. 社内でのAI利活⽤を推進するために ○ 制限ではなく活⽤のためのルール作り ○ 特定の部署や職種だけではなく全社で考える DeNAではChatAIを全社展開 IT戦略部ではヘルプデスクへのAI活⽤を進めていて、 現時点でも25%の質問に有効 AIの質よりデータの量の⽅が有効そう データの量を増やすのにもAIが有効そう 35