データエンジニアのためのテクニカルサポートとLLM

データエンジニアのためのテクニカルサポートとLLM サポートエンジニアNight vol. 5

WHO AM I? 松野尾 悠仁 株式会社primeNumber CSE ２０２１年から現職。 社交ダンスインストラクターから３０歳 でIT企業に転職し、データ分析や CSのOps（データを用いたオペレーショ ン改善）、昨年からテクニカルサポート チームのリーダーに従事。 趣味：コーヒーのドリップ 2 1 2 ©primeNumber Inc.

COMPANY 会社概要 会社名 株式会社primeNumber 代表 代表取締役CEO 田邊 雄樹 創業 2015年11月 Office 東京都品川区上大崎３丁目１番１号 JR東急目黒ビル5F

VISION あらゆるデータを、 ビジネスの力に変える。 primeNumberは、データテクノロジーカンパニー。 あらゆるデータが爆発的に増えていく時代に、 誰もがすばやく、簡単にデータを使える環境を構築し、 データ活用までのプロセスを最適化。 高度なテクノロジーと独自のアイデアで、 世界中のビジネスを支援します。

主要事業 Solutions End-to-end data management support for growing your business Managed data platform ETL/ELT Data Orchestration Data Catalog Integration Operation Workshop Only available in Japan ©primeNumber Inc.

今日お話すること 6 1. CS×LLM 2. テクニカルサポートの課題 3. LLMは組織論だ ©primeNumber Inc.

今回のお話の背景 troccoのCS（Customer Success Engineer）である彼は困っていた。 問い合わせ多くないか？ ログイン できない ジョブがエ ラーになっ た こういう機能 が欲しい 7 請求書の宛先 を変えて �� 彼 製品Aと比較した 優位性を教えて うちとパート ナーになりま せんか？ ©primeNumber Inc.

CSが足りません この問題はLLMで解決できるのだろうか？ 8 ©primeNumber Inc.

CS×LLM 2023-04 9 ここからtrocco®の話も含めて LLMの検証をスタート ©primeNumber Inc.

troccoについて（CMができました👏) お申し込みURL: https://trocco.io/lp/index.html 10 ©primeNumber Inc.

• https://trocco.io/lp/index.html

『THE MODEL』的な組織 trocco事業ではカスタマーサクセス本部の下にインサイド／Sales／CSEがいる。 出典：https://www.salesforce.com/jp/resources/articles/sales/the-model/ 11 ©primeNumber Inc.

商談以降のtrocco事業のCS体制 トスアップ後の流れ。 特にオンボーディングに関してはハイタッチでサポートしている。 商談・デモ トライアル 受注・オンボーディン グ アダプション Sales CSE 問い合わせのチャネルは？ 基本的にはSlack（pNワークスペース）にシングルチャネルゲストで招待。 その他にもChatworkやTeams、メールなどにも条件次第で対応。 12 ©primeNumber Inc.

LLMの向いている領域 LLMを使うことでAI関連のサービスが生まれてきている 利益 ビジネスになる AIをうまく使えない か？ ビジネスになら ない コスト 13 ©primeNumber Inc.

CS内で検討したこと ● ● 14 LLMを用いたチャットボットの実装 ○ ヘルプドキュメントや独自データを用いた応答（RAGの一種かな) ○ エラーの問い合わせの自動化 ■ ChatGPT(OpenAI API) ■ LangChain＋Google Custome Search 新機能の実装 ○ テキストからのSQLクエリ生成 ○ その他 ©primeNumber Inc.

エラーの問い合わせの自動化について

背景：troccoはAPIで接続するので顧客の環境に依存した問い合わせが多いのが特徴。

目的：できる限りエラーの自己解決率をあげれないか。
troccoは実行ログもエラーログもユーザー自身で確認できる。

-

trocco®でデータ抽出時（API）のエラーの一例

(Error) failed during waiting a Copy job, get_job(project-id,
embulk_copy_job_291d7747-565d-4770-93ee-11aec3ebae33), errors:[{:reason=>"invalid",
:message=>"Provided Schema does not match Table project-id:dataset-name.test-table.
Field Phone has changed type from INTEGER to STRING"}]

15

©primeNumber Inc.

検証結果 エラーの原因について７割程度正しい回答を得られる。 ただし、対応方法までの言及が少なく自力でエラーを解消できるかは「？」 troccoのStep2はエラー起こりがち 16 ©primeNumber Inc.

検証時のまとめ ● GOOD󰢐 ○ インターネット上で公開されているベストプラクティスやワークアラウンドに ついては模範的な回答をしてくれる。結構丁寧。 ● BAD🙅 ○ 専門的な知識やスキルについては平然と嘘が返ってくる。嘘を許容できるか。 ○ LLMは各社開発中のサービスであるため、何の目的で使うか、どのように使う かの意思決定が難しい。 17 ■ 実装にどれほどリソースを割り当てるか ■ アップデートも多い ■ やらないことによる機会損失 ©primeNumber Inc.

プロダクトにLLMを組み込むよりも、 みんながLLMを使えばいいのでは 18 ©primeNumber Inc.

テクニカルサポート の課題 19 ©primeNumber Inc.

問い合わせ対応はコンテクストを理解しないといけない 馴染みのお客さんだけを相手しているわけでもない。 ユーザーさんからの問い合わせのほとんどはハイコンテクスト。。 いつもの 常 連 ハイコンテクスト 20 メニュー ありますか 新 規 ローコンテクスト ©primeNumber Inc.

LLMのざっくりした理解とまとめ LLMもコンテクストが大事。聞き方次第で答えが変わる。 なぜか？ LLMの作り方 ①一部を伏せ字にした文章の穴埋めをする（穴埋め問題） ②次につながる文を選択する（文の構成問題） →チャットボットに回答してもらえる聞き方を考えるのが障害になる。 →とりあえず担当営業やCSに聞く。（何も変わらない） 21 ©primeNumber Inc.

問い合わせの種別 対応手順 決まっている→マニュアルワーク 決まっていない→ナレッジワーク 22 タッチ／ 問い合わせの種別 ハイタッチ （ヒト） テックタッチ （UI／ボット） マニュアルワーク △ コスト負担 ◎ ナレッジワーク ◯ 人材確保 ◯ コスト次第 ©primeNumber Inc.

議論したポイント ● 問い合わせに対してマニュアルな対応が可能か ○ ○ マニュアルがあれば、そもそも自己解決ができるか ■ 壁１：エラーの原因がわかるか ■ 壁２：解消できるか コストに見合っているのか ■ ○ マニュアル対応が可能な問い合わせの数は十分に多いか インタラクティブな対応が求められるか ■ 一問一答なのか／条件分岐していくのか ● 23 例えば、403エラー(forbidden)の原因はいろいろあるだろう ©primeNumber Inc.

ローコンテクストで LLM（ChatGPT)を使いこなす 24 ©primeNumber Inc.

LLMは組織論だ テクサポチームはある日突然に 2023-11 テクサポチーム編成 25 ©primeNumber Inc.

シン・CS体制 事業の成長につれて、アダプションフェーズのテクニカルな問い合わせを効率的に対応 する。LLMにできない以上、人を配置する。（まだ2人体制） 商談・デモ トライアル 受注・オンボーディン グ アダプション Sales CSE テクサポ NEW！ 26 ©primeNumber Inc.

ここでも問題発生 関係者が増えると、コミュニケーションの齟齬が発生しやすくなる。 CXが下がるし、CSとしての目的を果たせない。 たぶん従業員側のエンゲージメントも下がる。 CSの指標 CS ＝ CO ＋ CX CO（サービスで得られる成果） CX（サービスを通じた体験） 27 ©primeNumber Inc.

めざせローコンテクスト ハイコンテクスト文化 28 ローコンテクスト文化 ● 比較的似た経験やキャリア ● 多様なバックボーン ● 暗黙知（体験）の共有 ● 形式知／ガイドラインを提示 ● 少人数のスタートアップ ● 海外展開（英語対応） ©primeNumber Inc.

LLMでナレッジ化を進める ● 従来のナレッジマネジメントはコストに見合わない ○ ナレッジの形骸化 ○ 肥大化 ○ コンテンツを増やすこと自体が目的になる VOC ↓ FAQ 29 DWH LLMを活用する ● データクレンジング ● troccoも使う ● 問い合わせの傾向分析 ©primeNumber Inc.

私の意見 ● LLMは手段（ツール）のひとつ ● 「自動化できるか？」「仕組みは作れると思います」 ● 「CSの目標が達成できるか？」「難しいです」 ● 優秀なCSは離すな ● LLMや生成AI自体は素晴らしいので常に選択肢の一つに持って おくべき 30 ©primeNumber Inc.

おしまいに 31 ©primeNumber Inc.

We are hiring！ 一緒にtrocco®を盛り上げていきたい方！ 募集中：https://www.wantedly.com/projects/1471438 32 ©primeNumber Inc.

• https://www.wantedly.com/projects/1471438

VALUE Coprime 価値を返す 私たちは、一人ひとりが異なる存在。 ユーザーに対して、チームに対して、 圧倒的な個の力を強く結合させながら、 その仕事は価値を返せているか。 まだどこにもない、新しい価値を創る。 相手の想像を超えているか。 方法論にとらわれず、 価値を生み出すことが最低条件。 合理志向 課題を起点に つねに合理的で、創造的。 私たちは、製品の開発者であると同時に、 8 Elements すばやく決めて、まずやってみる。 つねに一人のユーザーであり続ける。 最新のテクノロジーとエンジニアスピリットを核に、 自らユーザーとなって課題を探りながら、 私たちが大事にしている 世界中のエンジニアを惹きつける 開発者として信じる価値を世の中に提示する。 マインドです。 組織であり続ける。

VALUE 対話を力に プロダクトを信じる オープンに多様な視点を求め、 自分たちが熱中できるものをつくる。 建設的な思考を積み上げていく。 変化を恐れずに、改良と拡張を続けることで、 議論は、酸素。そこに上下の壁はなく、 人々の想像を超えていく。 あるのはお互いへのリスペクトのみ。 8 Elements 挑戦を楽しむ 良心に問いかける つねに楽しむ気持ちを忘れない。 原理。合理。倫理。私たちは、理で動く。 働いているようで、そう感じない。 私欲に走ることなく、 挑戦を楽しめる環境を、自ら作り出す。 誰に対してもフェアな行いを。 私たちが大事にしている ビジネスの成長は、 マインドです。 価値と信用を積み重ねた先にある。