GPTを用いた自動研究への見通し(化学･材料の視点で)
7K Views
April 27, 23
スライド概要
GPT x ロボットで化学･材料実験をさせるための最近のtopicを纏めています
2023/4/27版 v2 (GPT-4 + plannerを追加)
化学･材料･データ･AI･ロボット
関連スライド
各ページのテキスト
GPTを用いた 自動研究への 見通し (化学･材料の 視点で) 畠山 歓 2023/4/27更新版 Twitterはこちら 1
参考: イメージ図の作り方 Microsoft Bingに作図を依頼して完成! 2
著者の情報 • 早稲田 • 高校～大学院(博士) +教員5年 • 東工大 • 2023年4月～ • 助教 • 専門 • 高分子化学: 合成、計測、デバイス化など • データ科学: マテリアルズ・インフォマティクス 3
未来像 小型ロボットに よる自動実験 ✓ マンパワー制約からの開放 ✓ 再現性の向上 ✓ 人手では難しい実験の遂行 4
目次 • GPT x ロボット • 最近話題の研究 • 解決すべき課題 • GPT to 自律AI 5
GPT x ロボット 最近の話題 6
自然言語に よるアーム 操作 NVIDIA x トロント大学*の最強タッグ *Alán Aspuru-Guzik先生は､ 理論化学･AI･量子計算etcで超有名 Tweet, プレプリント
マイコン x GPT こういう系のロボットは､ 日本人の強みが発揮される気がします 9
GPT-4でロボットアームを操作 (畠山) 10
11
12
すごいところ • 自然言語でロボットアームを制御 • プログラミング言語を自動生成 • 制約条件をきちんと理解 • X,Y方向にアームを移動する際は､上に持ち上げる • ピペットは1 mLしか容量がないので､液体を3 mL移動するために､動作 を3回繰り返す 13
ロボット 活用の課題 特に化学実験系の話 14
器具･試薬類 の認識 • 視覚が必要 • 対応策 • QRコードの活用 • Deep learningの活用 • GPT-4は画像対応のマ ルチモーダルですが､ま だAPIが未公開 15
Tweet Segment Anything Model (SAM) 最近話題の画像認識AI by Meta社 このあたりの技術との連携 が必須? 16
複雑な実験操作 粉体の分取 フラスコの密栓 注射針の使用 粘性液体の採集 … 17
解決策 • ロボットにとって｢バリアフリー｣な器具設計 • 専用アタッチメントの作成 例: マイクロピペット • 器具の再設計 チップ排出 チップ押し込み 液量調節ねじ 五本指で操作するために 最適化された器具群 3Dプリンタでホルダを作成&サーボモーターで 制御するイメージ? 18
アームの可動域 アームは数十cm程度の範囲でしか動かせない (しかも特定の作業しかできない) 19
対応策: 自律型ロボットによる輸送 20
安価なロボットアーム･マイコンの活用 • ロボットアーム • 10-20万円のロボットアーム (dobot magician) • 更に廉価なおもちゃアーム (数千円~ @ amazon) • マイコン類 • M5stack • Wifi, bluethooth, ディスプレイ, 電池などを内蔵 原理的には､数万~数十万円程度でロボットシステムを構築可能? 21
GPT to 自律AI AIに自律的に活動･研究をさせるための最近の試み 22
GPTにロール プレイさせる 23
GPTにロールプレイさせる: 25人の自律的なエージェントがつくる社会 プレプリント 24
25人の自律的なエージェントがつくる社会 • 各エージェントに｢記憶｣のような内部変数を持たせ､GPTが推論 • 将来的には､多数の小型ロボット群を制御させることも出来るかも? 25
猫とルンバがじゃれ合う仮想世界をGPT-4が生成 プレプリント 26
自律GPT 次に行うべき作業(prompt)を GPT自身に考えさせる 27
AutoGPT系 原理的には｢何でもできる｣ • Web検索 • プログラムコードの実行 • … Tweet
｢AI研究者｣ による ｢AIの研究｣ GPTがニューラルネットの 構成を最適化 • Tweet • プレプリント 29
｢AI研究者｣による｢AIの研究｣のポイント • PDCAサイクルをAIが回せている • Plan (計画)､Do (実行)､Check (確認)､Action (改善) • GPT-4が基本的な推論能力を持っている • AIが｢AIの研究｣に必要な関連知識を有している • GPT-4がプログラミング系のデータを沢山学習しているため • 実験系が､AIが認識できる程度に簡単である • 制御すべき変数と得られた結果の情報量 << GPTのpromptサイズ & 認識力 30
｢AI研究者｣による｢○○の研究｣のポイント • AIが｢○○の研究｣に必要な関連知識を有している ことが必須 • 最先端のことについては､GPTはあまり詳しくないので､データベースシス テムを構築する作業が必須 31
検索システムを噛ませて解決可能? このあたりの詳細は割愛します(参考資料) 質問と類似度の高い データを検索して GPTに記憶させる GPTの記憶容量: 原稿用紙10枚程度 ラボのデータ: 100万ファイル以上 32
GPTに専用の予測モデルを 作らせるのも一案 回帰･分類モデル 予測 研究に超詳しいGPT 化学･材料データなど 予測モデルへのドメイン知識の反映 (これまでは人間が実施｡しかし知識やノウハウに制約･属人性) 33
｢AI研究者｣による｢AIの研究｣のポイント • PDCAサイクルをAIが回せている • Plan (計画)､Do (実行)､Check (確認)､Action (改善) • GPT-4が基本的な推論能力を持っている • AIが｢AIの研究｣に必要な関連知識を有している • GPT-4がプログラミング系のデータを沢山学習しているため • 実験系が､AIが認識できる程度に簡単である • 制御すべき変数と得られた結果の情報量 << GPTのpromptサイズ & 認識力 スペクトル､表形式データ､化学構造のような､テキスト以外の情報をどう認識させるか? 34
Tableデータ の解析 • GPTのpromptに載りきら ないTableデータをどう解 析するか? • 専用の解析ツール x 自律 型GPTが一つの鍵? • Pandas Daraframe Agent • ※ まだ試せてません Tweet 35
その他のデータフォーマットの認識 • 勉強中です 36
参考: GPT-4で 試してみたこと 自律型研究に向けての試行錯誤 37
データ分析 ができる 38
39
Pythonの解析も代行できる 40
41
“化学研究” ができる 42
43
解くべき課題 • 巨大化しがちな研究データを､いかにGPTに認識させるか • ドメイン知識 • 実験データ • いかにGPTを自律させるか • その特性上､挙動がカオス • ちょっと間抜けなGPT-4のミスを､どう補うか • 読解能力や論理的思考力にやや不安 44
まとめ: GPTの特徴をいかに生かすべきか? • 読解: • 数学: • 知識: • 記憶: • 速度: • 感情: • 疲労: • 身体: • 意志: 小学生 ･･･ GPT-5以降で改善可能 中学生 (?) 仙人 鳥頭? ･･･ ハードウェア制約のため改善困難? 超人 サイボーグ サイボーグ なし なし(超従順) クセは強いが､雇っても良いと言えるレベル 特徴を理解した上で､使いこなすことが大切 45