面倒なことはLLMにやらせよう

LLM 面倒なことはChatGPTにやらせよう Beginning LLM 2024/10/17

自己紹介 名前：からあげ（本名は内緒） 職業：AIのおしごと （松尾研究室/松尾研究所） 家族：妻・娘・ネコ x 2 https://karaage.hatenadiary.jp @karaage0703 karaage0703 ブログ、各種SNSで情報発信しています

• https://karaage.hatenadiary.jp

主な著書・寄稿・協力 2021/01/08発売 2021/04/21 改訂版発売 2024/01/29 新発売 ← New!! 4万部のベストセラー その他、寄稿・協力・個人出版多数(20冊以上） （ラズパイマガジン・日経Linux…）

今日話すこと ・最近のLLM動向 ・面倒なことはChatGPTにやらせよう ・面倒なことはLLMにやらせよう

今日話すこと ・最近のLLM動向 ・面倒なことはChatGPTにやらせよう ・面倒なことはLLMにやらせよう

最近のLLM動向 OpenAI o1 preview Anthropic Claude 3.5 Sonnet ChatGPT Advanced Voice Mode Google Gemini 1.5 Pro 002 Tanuki 8B 先生！ついていけないです！！

代表的なLLMについて整理（性能） 東京大学松尾・岩澤研究室 GENIACプロジェクトにおいて、大規模言語モデル「Tanuki-8×8B」を開発・公開 より引用 オープンなモデルとの差も縮まっているが 依然として三大LLMが強い

• https://weblab.t.u-tokyo.ac.jp/2024-08-30/

三大LLMについて整理（性能） claude 3.5 sonnet chatgpt-4o o1-preview gemini 1.5 pro Nejumi LLMリーダーボード3 より引用 三大LLM、性能面では切磋琢磨している

• https://wandb.ai/wandb-japan/llm-leaderboard3/reports/Nejumi-LLM-3--Vmlldzo3OTg2NjM2

Open AI o1の能力 https://openai.com/index/learning-to-reason-with-llms/ より引用 o1はタスクによっては大きな性能を発揮するという話もある

• https://openai.com/index/learning-to-reason-with-llms/

代表的な生成AIサービスについて整理 項目 ChatGPT Claude Google AI Studio 会社 OpenAI Anthropic Google モデル名 GPT-4o, o1 Claude 3.5 Sonnet Gemini 1.5 Pro マルチモーダル対応 画像認識、音声認識 ◯ 画像認識 △ 画像認識、音声認識、動画認識 ◎ コンテキスト長 12万 ◯ 20万 ◯ 100万 ◎ コード実行 （バックエンド） Advanced Data Analysis/Code Interpreter (Python, ファイル入出力, 画像 生成, Web検索) ◎ - Code execution (Python） △ コード実行 （フロントエンド） canvas (Python/JavaScript/…) ◯ Artifacts (JavaScript/HTML/React/etc…) ◎ - サービスとしての機能・性能でも切磋琢磨している 面倒なことをやらせる機能はChatGPTがいまだに強い

今日話すこと ・最近のLLM動向 ・面倒なことはChatGPTにやらせよう ・面倒なことはLLMにやらせよう

面倒なことをChatGPTにやらせる仕組み（概要） 引用元：面倒なことはChatGPTにやらせよう（講談社） ChatGPTは、様々な拡張機能（外部ツール等）を 使うことで能力を拡張できる

面倒なことをChatGPTにやらせる仕組み（詳細） 引用元：面倒なことはChatGPTにやらせよう（講談社） 内部的な仕組みは、実は割とシンプル

ChatGPTの拡張機能 名前 機能 Advanced Data Analysis （Code Interpreter） Pythonでデータ分析・処理 Browsing Web検索 DALL・E 画像生成 GPT-4V 画像認識 以前はChatGPT Plus（有料版）が必須でした 今は無料版でも使えます（制限は厳しい）

ChatGPTができる面倒なこと 引用元：面倒なことはChatGPTにやらせよう（講談社） 色々なことができます

面倒なことをやらせてみましょう 名前 機能 Advanced Data Analysis （Code Interpreter） Pythonでデータ分析・処理 Browsing Web検索 DALL・E 画像生成 GPT-4V 画像認識 使用するプロンプトとファイルは「面倒なことは ChatGPTにやらせよう」サポートサイト参照

• https://www.notion.so/let-chatgpt-do-the-troublesome-work/ChatGPT-4b826218a1fb40ffa97c84518f0fff22

データ分析 使用するプロンプト： アップロードしたExcelファイルの金額を月ごとに集計して棒グラフにしてください。 使用するファイル： sample_excel.xlsx

応用例：読書記録の可視化 Kindleアプリのログデータ （XMLファイル） プロンプト： アップロードしたファイルはKindle の蔵書リストでpurchase_dateが購 入日です。年ごとの購入数を可視 化してください。 読書記録も可視化してくれます Kindleの蔵書情報をKindleアプリのXMLをパースして可視化する方法

• https://zenn.dev/karaage0703/articles/3a163290a4bc26

今日話すこと ・最近のLLM動向 ・面倒なことはChatGPTにやらせよう ・面倒なことはLLMにやらせよう

Code Cooker ChatGPT以外のLLMに面倒なことをやらせる自作ソフト GUI付きで面倒なことをやらせられます。詳しくはZennの記事参照 LLMに面倒なことをやらせるソフト「Code Cooker」の紹介

• https://zenn.dev/karaage0703/articles/8996f211fc38cd

面倒なことをChatGPTにやらせる仕組み 再掲 引用元：面倒なことはChatGPTにやらせよう（講談社）

Code Cookerの仕組み Google Colaboratoryに 置き換え LLMのAPIに置き換え ストリーム出力 プロンプト エンジニアリング 引用元：面倒なことはChatGPTにやらせよう（講談社） 仕組みを理解して工夫すれば 他のLLMにも面倒なことをやらせられる

Code Cookerを動かそう https://github.com/karaage0703/code-cooker/blob/main/colabnotebooks/code_cooker_sample.ipynb https://let-chatgpt-do-the-troublesome-work.notion.site/ChatGPT4b826218a1fb40ffa97c84518f0fff22?pvs=74 Google Colabのサンプルノートブックで 動かしながら仕組みを理解しよう

• https://github.com/karaage0703/code-cooker/blob/main/colab-notebooks/code_cooker_sample.ipynb
• https://let-chatgpt-do-the-troublesome-work.notion.site/ChatGPT-4b826218a1fb40ffa97c84518f0fff22?pvs=74

宣伝1：採用募集 ※関係者としてのPRです

採用情報 松尾研では積極的に採 用をしております。 カジュアル面談も大歓 迎です！ 東京大学 松尾研究室 採用ページ 株式会社 松尾研究所 採用ページ 25

• https://weblab.t.u-tokyo.ac.jp/join-us/jobs-2/
• https://matsuo-institute.com/recruit/

SNS 東京大学 松尾研究室 Xアカウント 最新のニュース、論文 情報、採用情報などを 発信しております。 株式会社 松尾研究所 Xアカウント 26

• https://twitter.com/Matsuo_Lab
• https://twitter.com/MatsuoInstitute

松尾研究所 テックブログ 27

• https://zenn.dev/p/mkj

宣伝2：Generative AI Test ※関係者としてのPRです

生成AIを活 用する 人にお すすめ 年2回開 催・オ ンライ ン（自 宅受験 ）

GAT紹介資料 ・試験シラバス 『生成AIに何ができるのか？』『背景となるロジック』『生成AIの利用において気を付けるべきこと』が理解できるよ うになり、 企業の生成AI活用の旗手となるためのリテラシーを身に着けることができます。 生成AIの利活用 生成AIの技術 【特徴】 テキスト、画像、音声等の生成モデルに共通する技術的な特徴 大規模言語モデルの基本構造、モデルの学習方法、アラインメント、生成の仕 組み、大規模言語モデルの性能評価 【動向】 テキスト、画像、音声等の生成モデルの技術動向大規模言語 モデルのオープン化 大規模言語モデルの性能を決める要素、マルチモーダル化、外部ツール・リソ ースの利用 【特徴】 生成AIには何ができるのか、どのように使うのか、性能を拡張する使い方 【動向】 新たな活用方法を生み出すためのアプローチ、活用を制限する要因、業界に特 化した生成AIの活用方法 生成AIのリスク 【特徴】 技術面・倫理面・法令面・社会面など多様なリスク 生成AIの入力（データ）と出力（生成物）について 【動向】 新たなリスクの出現とそれに伴う規制化の可能性、規制化、情報収集、生成AI の活用に伴うリスクを自主的に低減するための方法

ご静聴ありがとうございました