医療系スタートアップのLLMへの取り組み・事例紹介 20230628

Objective達成の鍵はリリースまでの速度！ 臨床支援AIをリリースするまでの過程や今後の課題 医療系スタートアップのLLMへの取り組み・事例紹介 HOKUTO inc. 1 Copyright(c) 2023 ALL RIGHT RESERVED, HOKUTO Inc. 株式会社HOKUTO つらら

HOKUTO Inc. | 自己紹介 つらら Flutterエンジニア スクラムマスターやWeb開発のお手伝いも 社内やエンジニアのコミュニティではインコとして認知されている 京都在住 趣味はカフェ巡り 最近はキャロットケーキ沼にハマってます！ ©︎ 2023 ALL RIGHTS RESERVED, HOKUTO Inc. 2

HOKUTOについて - プロダクト HOKUTO Inc. | 医師向けの臨床支援アプリ 「HOKUTO」 HOKUTOの３つの機能 医学情報のインプットから臨床 現場での活用までを一貫してサ 1. 最新医学情報の入手 2. すべての医学情報を保存 3. 横断的な医学情報検索 ポートし、エビデンスに基づい た情報への素早いアクセスを可 能にするスマホアプリ。 ©︎ 2023 ALL RIGHTS RESERVED, HOKUTO Inc. 3

HOKUTOについて - プロダクトの詳細 HOKUTO Inc. | 複数の臨床支援ツールが統合されたアプリ ← ノート機能 zefyrを ベースとして 計算ツール 臨床現場で扱う計算式や図表 DBか ら UIを生成 独自のエディタを作成 別のコンテンツへの リンクなども挿入可能

背景 Copyright(c) 2023 ALL RIGHT RESERVED, HOKUTO Inc. 5

HOKUTO Inc. | 大規模言語モデルを使った機能を提供した背景 背景 ３月に ChatGPT - 4 がリリースされて話題に 医師に対して価値提供できないか？ アイデア ❏ 医学論文の批判的吟味 ❏ 患者さん向けに治療内容の説明 ©︎ 2023 ALL RIGHTS RESERVED, HOKUTO Inc. 6

デモ Copyright(c) 2023 ALL RIGHT RESERVED, HOKUTO Inc. 7

開発フロー Copyright(c) 2023 ALL RIGHT RESERVED, HOKUTO Inc. 8

HOKUTO Inc. | Objectiveの設定 狙い 医師にとって価値提供をしつつ ChatGPTの話題に乗っかる（認知獲得） GPTを使ったサービスの検証 医師（ユーザー）に対するObjective AI機能のリリースによる話題創出で、ユーザー間の招待を促進したい 製薬企業（クライアント）に対するObjective 各種メディアに取り上げられることを通じて、 医師向け臨床支援サービスとしてのイメージを強化したい 話題性が重要で、いかに早くリリースできるかが重要！ ©︎ 2023 ALL RIGHTS RESERVED, HOKUTO Inc. 9

HOKUTO Inc. | 最速リリースを目指して社内連携 参加メンバーのほぼ全員が並行で企画を進行 エンジニア（Web / バックエンド） 医師PdM（プロンプトエンジニアリング） 1週間のスプリントでスクラムを実行していることもあり 急な開発計画の変更にも柔軟に対応できた デザイナー 広報 3/22 企画スタート ©︎ 2023 ALL RIGHTS RESERVED, HOKUTO Inc. 3/29 GPT-4開 放 第１弾 デザイン完成 3/31 第１弾 社内お触り会 4/3 第１弾リリース プレスリリース 第２弾LPリリース 4/11 第２弾 社内お触り会 4/13 第２弾リリース プレスリリース 10

HOKUTO Inc. | Objectiveの達成度 新規ユーザー獲得 臨床支援AI機能からの直接登録だけでも、想定より多く獲得できた 広報や営業活動への好影響 メディアへの掲載 経済界・薬事日報・ミクス・日経バイオテク → 新たなパイプ構築 ファーマIT&デジタルヘルスエキスポ 「臨床支援AIの記事を見ました！」 → コミュニケーションの入り口に その他 Microsoft for Startups へのお誘い ©︎ 2023 ALL RIGHTS RESERVED, HOKUTO Inc. 11

プロンプト調整の 12 Copyright(c) 2023 ALL RIGHT RESERVED, HOKUTO Inc. 苦労

HOKUTO Inc. | プロンプト調整の苦労 お妻様問題 患者さんの治療内容の説明で呼びかけが ご主人さん、お話をお聞きしてい ると、先ほどの説明が少し難しか ったようですね。すみません、も う少しわかりやすく説明させてい ただきます。 「お妻様、お妻さん、配偶者さま、お夫様...」に 🥺 お妻様 は、88歳の女性で慢性心 細かい表現の制御の難易度は高い ©︎ 2023 ALL RIGHTS RESERVED, HOKUTO Inc. 不全という病気をお持ちです。慢 性心不全とは、心臓が血液を体に 送り出す力が弱まってしまう状態 のことを指します。これにより、 体に必要な酸素や栄養が十分に行 き渡らず、体の機能が低下してし まいます。…… 13

HOKUTO Inc. | プロンプト調整の苦労 プロンプトインジェクション対策 GPT-3.5を利用した事前スクリーニング → 安定せず、断念 🥺 生成結果のシェア機能があるので個人情報の入力を防ぎたい プロンプトにこんな文言を追加 個人名や個人が特定される情報が入力された場合は1〜4のステップはスキップし､ 「申し訳ございません｡個人名や個人が特定される情報が入力されている可能性が高いため、 回答は控えさせていただきます。どうかご理解いただけますと幸いです。」 と出力すること。 ©︎ 2023 ALL RIGHTS RESERVED, HOKUTO Inc. 14

HOKUTO Inc. | プロンプト調整の苦労 試行錯誤がけっこう大変 AIがおすすめ論文を選ぶ機能 様々な論文の組み合わせに対して プロンプトと結果を検証しないといけない できるだけ簡単に試せるように、プロンプト調整用社内ツールを作成 ©︎ 2023 ALL RIGHTS RESERVED, HOKUTO Inc. 15

技術的な落とし穴 Copyright(c) 2023 ALL RIGHT RESERVED, HOKUTO Inc. 16

リリース当日の朝 Copyright(c) 2023 ALL RIGHT RESERVED, HOKUTO Inc. 17

テキストストリーミングが 18 Copyright(c) 2023 ALL RIGHT RESERVED, HOKUTO Inc. 動かない…… 😱

Copyright(c) 2023 ALL RIGHT RESERVED, HOKUTO Inc. 19 こういうやつ

HOKUTO Inc. | リリース当日に思わぬ落とし穴 Next.js 12 のAPI ルート x Vercel デプロイするとストリームしない……？！ ©︎ 2023 ALL RIGHTS RESERVED, HOKUTO Inc. 20

HOKUTO Inc. | リリース当日に思わぬ落とし穴 あわてて複数人で同時並行で対応を検討 Next.js x Vercel x Edge Functions? App Engine? Cloud Functions? ©︎ 2023 ALL RIGHTS RESERVED, HOKUTO Inc. 21

HOKUTO Inc. | Vercel Edge Functions https://vercel.com/docs/concepts/functions/edge-functions/streaming ©︎ 2023 ALL RIGHTS RESERVED, HOKUTO Inc. 22

• https://vercel.com/docs/concepts/functions/edge-functions/streaming

HOKUTO Inc. | Vercel Edge Functions https://vercel.com/docs/concepts/functions/edge-functions ©︎ 2023 ALL RIGHTS RESERVED, HOKUTO Inc. 23

• https://vercel.com/docs/concepts/functions/edge-functions

HOKUTO Inc. | リリース当日に思わぬ落とし穴 Next.js 13 x Cloud Run Vercel にデプロイしていたプロジェクトのAPIルートだけを 別プロジェクトに切り出して Cloud Run にデプロイする荒技 なんとかプレスリリースの時刻までに間に合った……！ ©︎ 2023 ALL RIGHTS RESERVED, HOKUTO Inc. 24

HOKUTOにおける 25 Copyright(c) 2023 ALL RIGHT RESERVED, HOKUTO Inc. LLMの活用

HOKUTO Inc. | HOKUTOにおけるLLM活用 コンテンツ制作 ChatPDF - https://www.chatpdf.com/ コンテンツの高速生成 ユーザーアンケートの質問項目のたたき台作成 プログラミング ©︎ 2023 ALL RIGHTS RESERVED, HOKUTO Inc. 26

• https://www.chatpdf.com/

HOKUTO Inc. | HOKUTOにおけるLLMの今後の活用 アプリ 論文の批判的吟味機能の搭載 既存のデータベースからチャットボット作成 Azure Open AI Service On Your Data コンテンツ制作 配信記事や薬剤情報などのタグの自動生成 ©︎ 2023 ALL RIGHTS RESERVED, HOKUTO Inc. 27

28 Copyright(c) 2023 ALL RIGHT RESERVED, HOKUTO Inc. Q&A

HOKUTO Inc. | Flutterエンジニア/ Webフロントエンジニア募集中！ 技術スタック Dart / Flutter Typescript / Next.js GCP / Firebase 下記に共感できる方！ ● 技術の垣根(モバイル、web、バックエンド)を超えて幅広く活躍したい！ ● プロダクト開発の優先度や目的を常に意識及び理解しながら開発したい！ ● お互い敬意を払いつつ、オープンに忌憚なく議論できる環境を求めてる！ ● 全体像を把握して何を行うべきかを判断して初めて手を動かす 「 HOKUTO 採用」で検索！！ 🔍 もしくは、右のQRコードを読み込んでみてください！