20261007_AGI福岡第12回

>100 Views

October 08, 26

スライド概要

profile-image

株式会社スタディストで機械学習エンジニアをしています。自然言語処理に興味があります。

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

関連スライド

各ページのテキスト
1.

AIに知性を感じるのはなぜか? AGI福岡 第12回 ⽡ 祐希

2.

⾃⼰紹介 ⽡祐希 / Yuki Kawara 株式会社スタディスト エンジニア ● 甲賀忍者検定初級 ● ビール検定三級 ● 趣味 ○ ドラム ○ 読書 ○ 飲酒 ● X: kawara_y ● Github: yukikawara Copyright (C) Studist Corporation. All Rights Reserved 2

3.

「次トークンを予測するだけ」な LLM 「LLMが(次の)トークン予測器として学習されている」という説明⾃体は正しい 実際には質問したり、コードを書いたり、ツールを動かしたり、結果を⾒たりして回答できる。 しかし、「どういう仕組みで動いているか」と「どういうことが出来ているか」はまた別問題。 回答 chat 予測 コード 状態変化 token coding environment ツール操作 tool トークンを予測しているだけのはずの LLM のどこに知性があるのだろうか? Copyright (C) Studist Corporation. All Rights Reserved 3

4.

知能をどう実現しようとしてきたのか 01 02 03 ルールベース 統計的機械学習 深層学習 知能 = 明⽰的な 規則や記号操作 知能 = データから学 習した統計的な規則 性 知能 = ニューラル ネットが学習した 内部表現 ⼈間が知識や推論規則を 明⽰的に記述する 特徴量から、分類や予測 の規則を学習する 内部表現そのものを、 ニューラルネットがデー タから学習する エキスパートシステム / ELIZA SVM / ロジスティック回帰 CNN / RNN / Transformer これらは知的な振る舞いを⽣み出すための「内部の仕組み」の違いとして捉えられる Copyright (C) Studist Corporation. All Rights Reserved 4

5.

「どう作るか」から「何が出来るか」へ 1950 NOW チューリングテスト 現代のベンチマーク 「機械は考えるか?」という問題を、 「⼈間が区別できない応答ができるか」 という観察可能な問題に置き換えた。 MMLU, Humanity's Last Exam, SWE-bench などは、『知的能⼒が必要な課題』を どの程度解けるかを測っている。 内部状態から振る舞いへの置換 解けたとしても、⼈間と同じ意識や 知能そのものではない 「構造で知能を実現する」のではなく、 「知能があればできそうなこと」を指標にすることで知能を⽰す流れが出てくる。 Copyright (C) Studist Corporation. All Rights Reserved 5

6.

回答だけではないインタラクティブな⾏為へ LLM Chat / Tool / API Environment 予測‧推論‧計画 実⾏‧検索‧変更 外部状態 User 観測結果を受け取り、状況に応じて次の⾏為を変える 今 LLM に「知能」を感じられるのは、回答の内容だけではなく 外部の状態に合わせて臨機応変に対応できる相互作⽤の中にあるのでは? Copyright (C) Studist Corporation. All Rights Reserved 6

7.

知能を「内部の仕組み」だけで捉えなかった考え⽅ ● ヴィトゲンシュタインの「⾔語ゲーム」 ● 認識は環境との相互作⽤の中で出てくるもの(ジョン‧デューイ) ● 記号創発システム(⾕⼝忠⼤) ○ ● 集団の中で「記号」がやりとりされることにより、その記号の概念が⽣まれる エナクティヴィズム ○ ⾃⾝の体を動かして環境に関わることで、経験や世界を「制定する (enact)」 分野は違っていても、「認知や知性は内部だけでは完結しない」という発想は繰り返し 現れている。 これを LLM の知能の議論にも持ち込めないだろうかと考えたのが今回の LT 発表 Copyright (C) Studist Corporation. All Rights Reserved 7

8.

知性を感じる理由は、AIの「中」だけにはないのかもしれない 「トークン予測なのでそれ以上のことはしていない」では 議論を終わらせたくない 私たちが知性を感じるのは、AIの中に何かがあるからだけではなく、 ⼈間‧AI‧環境の相互作⽤の中で知的な振る舞いを経験しているからでは ないか 知能を考えるとき、内部の仕組みだけを⾒れば⼗分なのか? 外部との相互作⽤も⾒ることで新しい視点が得られるのでは? Copyright (C) Studist Corporation. All Rights Reserved 8