人工知能とその技術2-展望編-

⼈⼯知能とその技術2 -展望編2023年5⽉ver公⽴⼩松⼤学 藤⽥ ⼀寿 多分に私⾒を含んでいます．取扱いに注意しましょう． Ver.20230531

⼈⼯知能の歴史 コンピュータが役に⽴つ • 1942年 Bombe machineがEnigmaを解読に成功 ニューラルネットワーク で計算ができる • 1943年 ニューラルネットワーク登場（McCullochとPitts） • 1950年 Turing test提案（Turing） • 1955年 ダートマス会議にてArtificial Intelligence（⼈⼯知能）という⽤語ができる • 1958年 パーセプトロン • 1959年 機械学習という⽤語ができる（Samuel） ⼈⼯知能と会話できる • 1966年 チャットボットEliza発表 • 1980年代 エキスパートシステムが利⽤される チェスにおいて⼈⼯知能 が⼈を凌駕 • 1997年 チェスでDeepblueが世界チャンピョンを破る • 1999年 Aibo発売 ペットロボットが家庭に • 2002年 Roomba発売 ⼈⼯知能と声でやり取り できる • 2011年 Siri登場 • 2011年 IBMのWatsonが早押しクイズで⼈間に勝つ 深層ニューラルネットワ ークの時代到来 • 2012年 深層ニューラルネットワークが画像識別⼤会で圧勝 • 2017年 AlphaGoが囲碁世界ランク1位の柯潔⽒に勝利 • 2022年 DALL-E, Midjourney, Stable diffusion公開 • 2023年 GPT-4リリース ニューラルネットワーク の学習ができる AGIはすぐそこか？ AI絵師登場により，⼈間 絵師，急速に需要減少 ⼈はゲームで⼈⼯知能に 勝てそうにない

最近の話題

画像⽣成⼈⼯知能 ⼈⼯知能に⾃分の名前を与 え画像を⽣成 (Stable diffusionにて昨年⽣成) ⼈⼯知能に⼩松⼤学を与え画像を⽣成 (DALL-E) 現在Nijijourneyなどは⼈が描いた絵と区別がつかないクオリティ（と⾔うか下⼿な クリエイター より上⼿い）になっている．クリエイターはAIが⽣成した画像を⼿直 しする仕事をすることになり始めている．

⾃然⾔語処理 • 翻訳（DeepL） • ⽂章改善（DeepL, Grammarly） • ⽐較的⾃然な会話（ChatGPT） • 英会話の教師 機械翻訳(DeepL) • プログラムの作成 • アイデアの提案 • 説明⽂の作成 • ⽂章の要約 • ⽂章の校正 ⼈⼯知能との会話(ChatGPT)

ChatGPTはかなり役に⽴つ（よって⼈が要らなくなる？） • 実際のサービス • ChatGPTが英会話講師として活躍 (Speak) • PDFの論⽂を要約 (Chat with any PDF) • プレゼンも⾃動⽣成 (SlidesGPT) ここに載っていることは， すでに古い． • 会議の要約も出来る(Teams) • 活⽤事例 • プログラムを作成できる． • しかもChatGPTが⾃ら⾃分のプログラムコードを修正する(AutoGPT)． • ⾃然⾔語でロボットに指⽰を出せる (ChatGPT for robot)．(https://www.microsoft.com/enus/research/group/autonomous-systems-group-robotics/articles/chatgpt-for-robotics/) • ゲーム内でAI同⼠が会話した．(Park et al. https://arxiv.org/abs/2304.03442) • ⼦供の感想⽂の⼿伝いが出来た． (https://twitter.com/ume_nanminchamp/status/1641703840276959232) • 機械学習のコンペの課題をChatGPTの指⽰に従って解くと良い成績だった． (https://zenn.dev/seiyakitazume/articles/bc11bbd020cdfe) • ⽇単位で新しいアイデアやサービスが出てくる．

我々を取り巻く⼈⼯知能の研 究環境

⼈⼯知能の技術は⾊んな意味で難しい • 数学が難しい． • 原理は数式だらけ． • 動かすのが難しい． • 普通の計算機では実⾏できないかもしれない． • 理解している間に時代遅れになる． • 技術は⽂字通り⽇進⽉歩に進化している． • 少し気を抜くだけで置いていかれる． • ⼈⼯知能技術とその研究は，普通の⼈の⼿に負えるものではなくなっ た．

すで⼈⼯知能開発は⼤学の研究者から⼿を離れた • ニューラルネットワークが巨⼤になり⼈⼯知能の計算量が莫⼤である． • ニューラルネットワークは⼤きければ⼤きいほど性能が⾼い． • 巨⼤なニューラルネットワークの学習には莫⼤なデータが必要となる． • データが少ないと巨⼤なネットワークの性能を⼗分発揮できない． • 開発のための⼈的資源が必要となる． • アイデア勝負なので複数の優秀な⼈が⾊々なアイデアを出したほうが良い． • トライアル・アンド・エラーの世界なので⼈⼿がある⽅が良い． • 技術の深化・進化スピードが速い． • もともと幅広い知識が必要な分野にも関わらず，技術の進歩は⽇進⽉歩で今や数ヶ⽉前のことすら 古くなる． • そもそも⾯⽩そうなことは企業や技術者がさっさとやる． • 画像⽣成はネット上の画像を使って学習するとどうなるかなんて誰でも考えるが企業が実現する． • ChatGPTの出⼒をChatGPTに返すなんて誰でも思いつくことは，技術がある⼈がさっさと実現する． • ⼤学で⼈⼯知能の最先端研究をするのは難しい時代になった．

スタンフォード⼤学AIインデックスレポート2023 ⼤学ではなく企業が重要な機 械学習⼿法のほとんどを発表 している． GPT2は15億パラメタを持ち，訓練 に推定5万⽶ドルかかった．PaLMは 5,400億パラメタを持ち，訓練に推定 800万⽶ドルかかった．つまり⼤規 模モデルはお⾦がかかる．

⼤学の研究者はどうすれば良いのか • 最新の技術を追いかける． • 既存の技術をすぐには儲からない分野に応⽤する． • 儲からない分野なら企業が参⼊しない． • 既存技術を⾃分しか持っていないデータに適⽤する． • データは⾃分しか持っていないので企業は参⼊できない． • ⼈⼯知能を解析する． • なぜ⼈⼯知能は⾼性能なのかを数理的に明らかにする． • しかし，数学の知識が必要となる． • 既存技術に性能で劣る既存の技術とは違うアプローチの⼈⼯知能 • • • • 常に「既存技術で良いのでは」というツッコミに耐える必要がある． やっても意味がないかもしれない． 意味があるかどうかやってみないと分からないし，やっても分からないかもしれない． 例：スパイキングニューラルネットワーク，量⼦機械学習

エンジニアにとっては良い時代 • 画像認識，⾳声認識，⾔語処理など様々な分野で⼈⼯知能技術が実⽤ 的になった． • さらに，それらの技術はモジュール化され，中⾝が分からなくても， そこそこの性能のものが無料で使える． • それらを組み合わせて新しい⼈⼯知能技術や⼈⼯知能サービスをいく らでも考えられる夢のような時代になっている． • 実装で分からない事があっても，対話AIがコードを書いてくれる（か もしれない）． • 少なくとも対話AIがヒントをくれる．

⼈⼯知能の今後の研究

エンジニアの時代

応⽤研究はやりやすくなった • ⼈⼯知能技術それ⾃体ではなく，その応⽤研究の環境は⾮常に良くな っている． • ⼈⼯知能のソフトは無料で配布されている． • 当然オンプレミスで動かせないほど計算量が必要なもの（chatGPTなど） は有料で利⽤しなければならないかもしれない． • 無料・有料の⼈⼯知能ソフトを組み合わせてれば，昔に⽐べ簡単に新 しいサービスができる． オンプレミス：施設内 オンプレで動かせる（欲を⾔うとゲーミングPCで動かせれば）まずまず の性能の⾔語モデルが作れれば更に⼈⼯知能の技術が普及する．

組み合わせ例 to speechを組み合わせ • 専⾨性を持った対話AI（カスタマーサポートなど） 更にtext れば電話のカスタマーサポートが • ⾳声認識＋知識ベース＋⼤規模⾔語モデル 出来る． • 会話アプリ(Speakなど) • ⾳声認識+⼤規模⾔語モデル+Text to speech • ロボット制御 • ⾳声認識+⼤規模⾔語モデル+深層強化学習 • ⾃然⾔語による画像⽣成 • ⾔語モデル+画像⽣成AI • ⾃律エージェント（AutoGPTなど） 単純に組み合わせればよいわけでは なく，有効に組み合わせを動作させ るための技術が必要になる． • ⼤規模⾔語モデルのループ（⾃問⾃答） • 画像認識アプリの⾳声操作 • ⾳声認識+⼤規模⾔語モデル+深層ニューラルネットワーク

⼈⼯知能の応⽤研究には良い時代 • アプリやサービスの開発にとっては⾮常によい時代になった． • 誰でも思いつく，「⼈⼯知能技術を組み合わせたら，これが出来るよ ね」，をいかに速くサービスに持っていくかが重要になる． • エンジニアには良い時代になった． • 早く実装すれば良い， 使えれば良い，⾯⽩ければ良い，儲かれば良い，と いう視点でオープンソースソフトウェアや⼈⼯知能サービスを使って⼈⼯ 知能サービスの開発に挑戦しよう． • 挑戦した結果はGitHubやQiitaなどで公開しよう． 保守性も重要だけどね． 技術の中⾝にこだわるエンジニアも必要だ．

エンジニアを育成するためには教育はどうすべきか • ⼈⼯知能の使⽤⽅法の習得 • プログラミングの習得 エンジニアでなくてもある程度習得する 必要があるかもしれない． • プロンプトエンジニアリングの習得 • 対話AIを活⽤したプログラミングや資料作成の実習 • ⼈⼯知能の特徴に関する知⾒ ⼈⼯知能には個性があるので，ChatGPT だけが勝者にならないだろう． • アーキテクチャや学習データの違いで⼈⼯知能の特性（個性）が変わる． • 個性を知るために⼈⼯知能の⼼理学が必要になる． • 例：ChatGPTとどのような会話すればChatGPTが暴⾔を吐くようになるか． • ⼈⼯知能サービスの実装の実習 • 簡単な⼈⼯知能を使ったアプリを開発する． • 実装経験を積むことで，次の実装のスピードを上げる． • 発案から実装までを⼀通り経験する．

NVIDIAのCEO⽈く • NVIDAのフアンＣＥＯは2023年5⽉27⽇のスピーチで • 「ＡＩは企業の状況を⼀変させ、ありとあらゆる仕事を変えていくだ ろう」 • 「ＡＩに仕事を奪われると⼼配する⼈もいるが，ＡＩに精通した⼈に 仕事を奪われることになるのではないか」 • 「あなた⽅はこれから何を⽣み出すか．それが何であれ，われわれが そうだったように，それを追いかけて⾛るべきだ．歩くのではなく， ⾛りなさい」 • と⾔った． NVIDIA GPUを設計販売する企業．GPUを汎⽤計算に使うGPGPUの開発ソフトを提供し，GPUで⾼ 速計算を実現．⼈⼯知能でもGPGPUが有効なためNVDIAのGPUは⼈⼯知能にとって必須部 品となっている． （ https://www.bloomberg.com/news/articles/2023-05-28/nvidia-ceo-says-those-without-ai-expertise-will-be-left-behind , ⽇本語版：https://www.bloomberg.co.jp/news/articles/2023-05-29/RVDZV6T0AFB401）

⼤企業やエンジニアと差別化しな がら，⼤学の研究者として新しい 技術をどう⽣み出すか

王道を外れましょう • 最新の技術を追いかける王道を⽬指しても良いですが，別の道を模索 するのも良いのでは． • 現在のコンピュータや⼈⼯ニューラルネットワークとは異なるアプロ ーチを模索するし，新しい技術を開発する．

⼈は参考になるのでは • ⼈は • ひと⽬⾒て覚える． • One-shot学習 • 五感の情報を使って判断する（マルチモーダル）． • 五感の情報と運動を統合している（Sensory motor interaction）． • 新しい発想をする．想像および創造する． • • • • 複雑な推論，予測をする． 複雑な規則性を⾒出す． 感情を持つ． 意識を持つ． • これらは技術的な⽬標にはなる． • だからといって，⽣理学的解剖学的知⾒に基づいて実現する必要はない． • ⼈⼯知能研究では，これらを実現する技術を⽬指す． • 画像認識やN-shot学習(N=0, 1, few)などは既によく研究されている． • ⼈の機能（脳機能）に関わる知⾒はたくさんある．

コンピュータと脳は仕組みが 違う

ハードウェアが違う • ⼈⼯知能を動かすハードウェア（コンピュータ）と⼈の知能を実現す るハードウェア（脳）は違う．

コンピュータと脳の⽐較 省電⼒ 軽い (Smirnova et al., 2023)

コンピュータと脳の違い • 計算素⼦が違う • コンピュータはトランジスタ • 脳は神経細胞（ニューロン） • 数値が違う • コンピュータはデジタル（ソフトウェアでは浮動⼩数は使える） • 脳はアナログ（スパイクを使うからといってデジタルと⾔い切れないでし ょう） 1 ハードから脳を⽬指す道 ニューロモーフィックコンピューティング 0 脳に存在する細胞の動作や神経網のアーキテク チャなどを模倣する（ヒントを得た）ハードウェ アによる計算 コンピュータは０か１ 実際は，こんなきれいな矩形はではないだろう． 神経細胞の波形

⼈⼯ニューラルネットワーク と脳は違いがある

脳は神経細胞の集まり • 神経細胞が集まった部位． グリア細胞も多く存在し，脳機能 に重要な役割を果たしている． • 神経細胞がネットワークを構築している． • 神経細胞が脳における主な計算素⼦． • なんの動物であれ神経細胞の基本的な性質は同じ． (Hubel 1988) (Bear et al. Neuroscience)

⽣物のニューラ ルネットワーク ⼈⼯ニューラルネットワーク ネットワーク化 神経細胞（ニューロン） 脳 ⼈⼯ニューラル ネットワーク 数理モデル化 𝑓(𝒘! ⋅ 𝒙) ⼈⼯ニューロン 解剖学的知⾒に基 づき精密に脳をモ デル化した⼈⼯ニ ューラルネットワ ークはあるだろう か．機能をモデル 化したものはたく さんあるだろう． もちろん，スパイ キングニューラル ネットワークなら たくさんある． ネットワーク化 ⼈⼯ニューラル ネットワーク ⼈⼯ニューロンを組み合わせ様々な機能を実現したものを⼈⼯ニューラルネットワークと呼ぶ． かつては，⼈⼯ニューロンは神経細胞を数理モデル化したもので，⼈⼯ニューラルネットワークは 神経科学の分野と⾔えた．しかし，現在の⼈⼯ニューラルネットワークは神経細胞や脳の数理モデ ルから逸脱しており，表⾯上は脳と関係ない． 裏では関係あるのかというと分からない．

ニューロンモデル シナプス前 ニューロン１ 𝑧! = 1 閾値（⼈⼯ニューラルネットワークではバイアスにあたる） 𝑤! ℎ 出⼒ ニューロン 𝑓(⋅) 𝑦 ニューロンは活性化関数 𝑓 𝒘! 𝒙 の値を出⼒とする． ニューロンには シナプス前ニューロン１が出⼒𝑥" が直接⼊らない． シナプスを介してニューロンに⼊る． シナプスは⼊⼒に対し積の形で作⽤する． 結果として，ニューロンはシナプス前ニューロン１から𝑤" 𝑥" の⼊⼒を受ける． シナプスの重みは，そのシナプスの伝達効率を表す．

⼈⼯ニューラルネットワークと脳の違い • 現在の⼈⼯知能の主流技術である⼈⼯ニューラルネットワークも⼈⼯ 的な神経細胞（⼈⼯ニューロン）からなる． • しかし，神経細胞は⼈⼯知能で使われる⼈⼯ニューロンとは異なった 性質を持つ．

⼈⼯ニューラルネットワークと脳の違い • 脳の神経細胞は膜電位と呼ばれる電圧で情報処理をしており，⼊⼒が 閾値を超えるとスパイク状の電圧変化を起こす． • ⼈⼯ニューロンは活性化関数𝑓 𝒘" 𝒙 の値がニューロンの出⼒となる． シナプス荷重×⼊⼒の総和 ⼈⼯ニューロンの応答（ステップ関数の場合） ⼊⼒ 閾値 実際のニューロンの応答 スパイク 脳の神経細胞は膜電位で情報処理 をしていると書いたが，正確には 神経細胞は細胞膜内外のイオン濃 度差を使い情報処理を⾏う． (Purves et al., Neuroscience) ある⼈⼯ニューロンの応答（ReLUの場合）

活性化関数の違い 昔使われていた（⽣物寄り） 今使われている（⽣物とは関係ない） Rectified linear関数 (Rectified Linear Unit: ReLU) Sigmoid関数 1 ℎ 𝑥 = 1 + exp(−𝑥) ℎ 𝑥 =1 𝑥 if 𝑥 ≥ 0 0 otherwise Leaky rectified linear関数 ステップ関数 GELU (Gaussian Error Linear Unit) ℎ 𝑥 = 𝑥Φ 𝑥 = 𝑥 𝑥 1 + erf 2 2 Φ 𝑥 :ガウス分布の累積分布関数 erf: Gaussian error function ℎ(𝑥) 𝑥 ℎ 𝑥 =1 𝑥 if 𝑥 ≥ 0 𝑎𝑥 otherwise 出⼒を0-1にしたい場合や − 1-1にしたい場合は，今で もsigmoid関数とtanhが使わ れる．

Sigmoid関数は⽣物のモデルと⾔える Sigmoid関数は次の現象をモデル化したものと⾔える． 1. 神経細胞の発⽕率は⼊⼒を⼤きくすればするほど⼤きくなる．しか し，発⽕率は⼀定以上には上がらない． 2. イオンチャネルの開閉確率は膜電位の⼤きさに依存する． 3. 神経細胞集団内の発⽕する神経細胞の数は⼊⼒を増やせば増やすほ ど⼤きくなる．しかし，神経細胞の数の上限は決まっている． ⼊⼒ 3 発⽕数 開閉確率 2 発⽕率 1 膜電位 ⼊⼒

⽣物に近いからと⾔って良いわけではなかった • ステップ関数は神経細胞のall-or-none lawをモデル化したもの． • 閾値を超えたら発⽕するという現象をモデル化． • パーセプトロンで使われる． • ステップ関数は微分できないので多層化できなかった． • シグモイド関数は神経の様々な応答をモデル化したものと⾔える． • 多層パーセプトロンで使われる． • 勾配消失問題を⽣み出した．

Rectified linearはFukushimaが初めて使った？ • 神経の応答と関係ないReLUは，Fukushimaが1969年の論⽂ですでに 使っている． (Fukushima 1969より)

なぜこのような神経⽣理学とは異なる発想ができたのだろうか • ステップ関数やSigmoid関数の⽅が神経細胞の応答と対応させられる． • 神経細胞の発⽕率は⼊⼒が強ければ強いほど⾼くなるが，発⽕率の⾼さには限 界がありいずれ飽和する． • しかし，Fukushimaはなぜ神経細胞の応答と対応させにくいReLUを発想 できたのか？ • Fukushimaは「⽣理学からはヒントをもらうが，開発時には実際の脳は いったん忘れて研究を進めることが重要だ．ただ，それだけではいずれ限 界が来る．その時はもう⼀度，⽣理学に戻って考える．これを繰り返すこ とで，前進していけるだろう」(NikkeiBPnet, 2015)と語っている． • これはKanadeの「素⼈発想，⽞⼈実⾏」にも通じる．

⼈⼯ニューラルネットワークと脳の違い • ⼈⼯ニューラルネットワークでも脳でも，ニューロン同⼠の接続の間にシ ナプスがある． • 神経細胞の出⼒はシナプス後電位に変換され，次のニューロンに伝わる． • ⼈⼯ニューラルネットワークではニューロンの出⼒×シナプスは重みの数値が 伝わる． • 脳のシナプスのそれ特有の動的応答を⽰す． • 脳のシナプスには興奮抑制の区別がある． シナプスの応答 スパイクが⽣じた後， シナプス後電位が上昇 しその後減衰する． ⼈⼯ニューラルネットワー クのシナプスの応答 シナプス 出⼒があった時間 出⼒x重み ニューロン ニューロン Figure 10-7 Synaptic transmission at chemical synapses involves several steps. An action potential arriv voltage-gated Ca2+ channels at the active zone to open. The influx of Ca2+ produces a high concentration of Ca2+ neurotransmitter to fuse with the presynaptic cell membrane and release時間 their contents into the synap (Kandel, Principals of containing Neuroscience) neurotransmitter molecules then diffuse across the synaptic cleft and bind to specific receptors on the post-synap

脳はデジタルか • 膜電位が閾値処理によりスパイクに変換されることや，シナプス後電 位はスパイクにより誘発されるため，デジタル処理をしているように ⾒える． • 実際に，⼊⼒の⼤きさはスパイクの数で表現される．これは実際のデジタ ル信号表現（パルス密度変調）と合致する． • しかし，膜電位変化⾃体はアナログである．アナログの波形の積み重 ねによる情報処理も無視できないのではないだろうか． • 閾値下での膜電位変化による情報処理は無いのか？ • 私の知識ではデジタルともアナログとも⾔えない． 膜電位のダイナミクスは複雑なもので，神経細胞は単純な閾値処理をしているわけではない． 興味がある⼈は調べても良いが⼯学系の⼈にとっては難しいかもしれない（⽣物の知識が必要）．

⼈⼯ニューラルネットワークと脳の違い • 神経細胞そのものが複雑である． • 神経細胞も様々なものがある． • 脳は神経細胞のみで出来ているわけではない． • ⼈⼯ニューラルネットワークは均質なニューロンと値だけのシナプスで構 成される． 実際のニューロンは複雑 網膜の構造 (Carlson, Physiology of Behavior 11th ed) アストロサイト オリゴデンドロサイト ニューロンは⾊々ある (British Neuroscience Association, Neuroscience)

脳の構造は複雑 • 脳のニューラルネットワークは，それぞれの処理に特化したアーキテ クチャを⽣得的および習得的に得ている．

例：⼈間の視覚処理 第⼀次視覚野：V1 ITの構造 (Tanaka, 2003) (Kandel, Neuroscience) 下側頭葉：IT (inferior temporal cortex) Figure 25-12 Possible functions mediated by the two pathways connecting visual processing centers in the cerebral cortex. The icons represent salient physiological properties of cells in these areas. On the top is the pathway extending to the posterior parietal cortex, which is thought to be particularly involved in processing motion, depth, and spatial information. On the bottom is the pathway to the inferior temporal cortex, which is more concerned with form and color. Feeding into those two cortical pathways are the P and M 腹側経路 pathways from the retina. (MT = middle temporal; LGN = lateral geniculate nucleus.) (Adapted from Van Essen and Gallant 1994.) V1の構造 (Carlson) V2 V4 網膜 V1 IT LGN 組み合わ 組み合わ センサ 基本画像 features—movement, depth, form, and color. To ⾓度 express the specific combination of properties in the visual field at any given moment, せ せ independent groups of cells with different functions must temporarily be brought into association. As a result, there must be a mechanism Instead, as we have seen in this chapter, visual images typically are built up from the inputs of parallel pathways that process different by which the brain momentarily associates the information being processed independently by different cell populations in different cortical regions. This mechanism, as yet unspecified, is called the binding mechanism.

単純型細胞と複雑型細胞 複雑型細胞 単純型細胞 CNNのプーリングに対応 メキシカンハット型フィルタ ON中⼼OFF周辺型受容野 (Kandel) CNNのフィルタに対応 ガボールフィルタ メキシカンハット型受容野を持つ細胞を束ねることで，線分をとらえる． 第1次視覚野の受容野はガボールフィルタに似ている． 深層ニューラルネットワークにおいても，下層でガボールフィルタに 似たフィルタが形成されることが確認されている． (Kandel) 線分に対し横断的に応答 する．

Neocognitron（Biolcybern1980） • HubelとWieselの視覚の研究がベースとなる • 単純型細胞に対応したS-cellsで構成されるUs層と複雑型細胞 に対応したC-cellsで構成されるUc層がある． • Us層は畳み込み層，Uc層はプーリング層に対応する． 198 S-layer f I "/i" P "-- ~ j S-plane ~ S-column ^ Us2 ネオコグニトロンの仕組 ki=I み（Fukushima, 1980） UsI Ucl Fig. 4. Relation between S-planes and S-columnswithin an S-layer ネオコグニトロンの構造 only one candidate appears （福島, case 2017） in an S-plane, the なぜNeocognitronと⾔うのか？ Cognitronのニューバージョンだから．

深層ニューラルネットワークへ • 視覚野のモデルであるNeocognitronが畳み込みニューラルネットワー クへつながる． • その他の脳部位のモデルが新たなニューラルネットワークアーキテク チャの発想につながるだろうか？

学習⽅法が違う • ⼈⼯ニューラルネットワークはBackpropagationを使っている． • 誤差を単にchain ruleで微分しているだけ． • 神経科学の⽴場から⾒れば， Backpropagationを使ったネットワーク は脳モデルからの逸脱しているのではないか． • 脳でBackpropagationが起こっているかどうか分かっていない． • Back-prop netは脳が⾏っているかどうかで⾔えば，現実的なものではない (Crick, 1989)．

脳の学習⽅法（シナプス可塑性） • シナプス可塑性とはシナプスの伝達効率（シナプスの結合強度，シナプス荷重）の 変化のことである． • 脳は学習の要因の⼀つがシナプス可塑性である． • シナプス可塑性に関わる⽤語 • ヘブ学習 (Hebbian learning) • ニューロンAとニューロンBが発⽕するとお互いの結合が強まる． • ⻑期増強 (Long term potentiation: LTP), ⻑期抑圧 (Long term depression) • ⻑期的なシナプスの伝達効率の増強（抑圧） • スパイクタイミングシナプス可塑性 (Spike timing dependent plasticity: STDP) • スパイクの到着時間によるシナプスの可塑性 • 短期シナプス可塑性 (Short term synaptic plasticity, Dynamic synapse) • 軸索終末の神経伝達物質が充填されたシナプス⼩胞の需給 (放出可能プールの状況)により⽣ じる可塑性

Hebbian learning（ヘブ学習）(1949年) • Hebbが提案した脳の学習の理論 • シナプス前ニューロンが繰り返し発⽕し，シナプス後ニューロンの発 ⽕を助けたとき，そのシナプスは成⻑する． ニューロンの応答 ニューロンの応答 time time 学習によりシナプスが成⻑する． ニューロンの応答 ニューロンの応答 time Hebbの本では，当時おばあさん細胞説とpopulation codingが議論されていて，population codingが 主流であると述べている．Hebbはおばあさん細胞説に基づき議論している．なかなか⾯⽩い． time (Hebb, 1949)

input, but no change was observed if it was not stimulated (Fig. 2b). Consistent with that found for the repetitive stimulation of single inputs, no potentiation of either input was observed when synchronous co-stimulation produced only subthreshold synaptic potential in the tectal cell (Fig. 3b). STDP学習 planted with a third eye22 and for the reÆnement of the topographic map23,24. Activity-induced long-term potentiation (LTP) and depression (LTD) in the CA1 region of the hippocampus25,26 and in the visual cortex27±29 and lateral geniculate nucleus (LGN)30,31 have also been shown to depend on the activation of NMDA receptors. Here we have added AP5 (50 mM), a selective NMDA receptor antagonist, to the perfusion medium. This treatment did not affect the spiking of the tectal neuron. However, we found that asynchronous paired stimulation similar to that described above for STDP学習とは，シナプス前後膜ニューロンのスパイクの The effect of temporal pattern of activity on synaptic interactions between converging inputs was explored further by a series of studies using repetitive asynchronous co-stimulation. In the Ærst 到着時間の関係によりシナプス荷重が変わる学習である． set of experiments, the Ærst input (A) elicited spiking in the tectal Asynchronous co-stimulation of convergent inputs Post Pre cell, whereas the second input (B), 15 ms later, resulted in only subthreshold EPSPs (Fig. 4a). After 100 paired stimuli at 1 Hz, input A became potentiated and input B became depressed; results from six experiments are summarized in Fig. 4a. In the second set of experiments, both inputs A and B were capable of initiating spiking of the tectal neuron. After the same 100 paired stimuli, input A was markedly potentiated, whereas input B exhibited only a slight potentiation (Fig. 4b). Taken together with the data shown in Fig. 4a, these results suggest that the suprathreshold input B can protect itself from depression induced by the preceding suprathreshold input A. The limited potentiation of input B may be attributed to the depressive effect of the spiking induced by input A. In the third set of experiments, in which the tectal response to input A was subthreshold and input B initiated spiking, input B showed substantial potentiation following repetitive co-stimulation, whereas the potentiation of input A was rather limited (Fig. 4c). In the latter case, the onset of the synaptic response to input A was about 20 ms before the peak of the spike induced by input B, although the interval between the stimuli applied at the retina was 15 ms. Finally, when both inputs were subthreshold, repetitive asynchronous costimulation produced no signiÆcant effect on the synaptic efÆcacy of either input (Fig. 4d). These results conÆrm that postsynaptic spiking is required for the induction of synaptic potentiation. Furthermore, persistent synaptic depression is induced when the subthreshold input is activated within 15±20 ms after spiking of the postsynaptic neuron. Finally, although synaptic potentiation was induced at a subthreshold input when it was activated immediately before postsynaptic spiking (as synchronous co-activation), the potentiation effect largely disappeared when the subthreshold input was activated about 20 ms before the peak of the postsynaptic action potential. t = tpre tpost Figure 5 The critical window for synaptic potentiation and depression. The percentage change in the EPSC amplitude of synaptic inputs 10±30 min after (Zhang et. al. 1998) repetitive stimulation was plotted against the time of the input (deÆned by the onset time of the EPSP relative to the peak of the action potential initiated in the • シナプス前ニューロンがシナプス後ニューロンより先に発⽕したとき， シナプス荷重が増強 • シナプス後ニューロンがシナプス前ニューロンより先に発⽕したとき， シナプス荷重が減弱 Timing requirements for synaptic modiÆcations tectal cell). Filled triangles show data from experiments similar to those described in Fig. 4a, c. Two converging inputs (one suprathreshold and one subthreshold) were stimulated repetitively (at 1 Hz for 100 s), with varying intervals between the stimuli applied to the two inputs. Only changes in the strength of the subthreshold input were plotted. The results for synaptic inputs were Ætted separately for positive and negative times with Ærst-order kinetics, as shown by solid curves. (Abbott and Nelson 2000) 学習曲線は様々ある． Open circles show data from experiments in which repetitive spiking (at 1 Hz for 100 s) of the tectal cell was induced by injections of depolarizing currents at The precise timing of synaptic activation required for the induction NATURE | VOL 395 | 3 SEPTEMBER 1998 different times with respect to a subthreshold synaptic input. Nature © Macmillan Publishers Ltd 1998 いわゆるSTDPはin vivoで起こっているのか？起こってないのか？ 41

脳を参考に⼈⼯知能を進化させる • 先のスライドの通り，脳と⼈⼯知能（⼈⼯ニューラルネットワーク）には，それを 構成する素⼦や構造に違いがある． • 脳の構造や神経細胞の性質など取り⼊れた⼈⼯ニューラルネットワーク（スパイキ ングニューラルネットワークなど）を作り，⼈⼯知能を脳に近づける． • 機能や性能が脳に近づくとは限らない． • ニューラルネットワークを⽣物的にすると性能が落ちるかもしれない． • 実際に，⽣物のモデル的な要素を持つSigmoid関数よりReLUを使ったほうが性能が良い． • ⼈⼯ニューラルネットワークは神経科学の縛りはなくても良いのでは． • 使⽤する数式やアーキテクチャは神経科学を気にすることなく作ることができる． • 活性化関数はステップ関数やシグモイド関数でなくても良い． • Rectified linear関数やleaky rectified linear関数は神経細胞の活性を表現していない（かも しれない）． • 性能が良ければ何でも良い．

脳を参考にするのではなく，脳を直接使えばよいのでは • 脳オルガノイド（培養した脳細胞）を使った⼈⼯知能の研究が進む（ Organoid Intelligence: OI）． • 培養脳がゲームを解く(Kagan et al., 2022)． Fristonのグループ (https://www.sciencedirect.com/science/article/pii/S0896627322008066)

研究における⼈⼯知能に対する考え⽅ • 知能研究では次のような⼼意気で挑みたい． • 「⼈⼯知能を⼈と同等，それ以上の知能があるものにしていこう」，「⼈ と⼈⼯知能は知能あるブラックボックスである」，「知能が発現するメカ ニズムは何だろう」と考える． • ⼈⼯知能と⽣物を区別なく知能研究の対象と捉えるべき． • 応⽤研究では，アラインメント，倫理問題，社会的影響なども考慮に ⼊れる必要はあるだろう．

量⼦計算の⼈⼯知能への導⼊

古典的世界観に縛られない • ⼈⼯知能開発も古典的な（量⼦的ではない）⼿法が主流であり，それは 着実に成果を挙げている． • ⼀⽅で古典的ではない，量⼦的⼿法を⽤いた⼈⼯知能があってもよいの ではないか． • ただし，量⼦計算⾃体が難しい点とそれを実⾏する量⼦計算機がない点 が参⼊を難しくしている． • 量⼦計算は独⾃の思考が必要なところが難しい（慣れの問題か）． • 量⼦計算機のかわりにGPUを使うことで解決できる． • また，量⼦でなければならない理由もあまり無い（今のところ）．

ビットと量⼦ビット • 古典計算機ではビットを使い情報を表現する． • 量⼦計算機では量⼦ビットを使い情報を表現する． 古典計算機 ビットは0か1の値 ビットの値は0か1のどちらかに決 まっている． 量⼦計算機 量⼦ビットは0か1の状態 量⼦ビットの状態は確率的に決まる．

重ね合わせ状態 • 古典ではビットは０か１の値しか取れない． • 量⼦では量⼦ビットは０と１の状態を重ね合わせた状態になれる． • 𝑞 =𝛼 0 +𝛽 1 • 式では０と１の状態の化させ合わせを和で表現する． シュレディンガーの猫 1 0 放射線 量⼦ビットの状態は０かも しれないし１かもしれない 猫は⽣きているか死ん でいる状態の重ね合わ 放射線を検知 して毒が出る

量⼦計算 • 量⼦計算では，量⼦ビットの状態が現れる確率を観測し，その観測結 果を計算結果とする． • 観測結果に計算結果が現れるように量⼦回路をつくる． 𝑈!" (𝑥) 量⼦ビット 量⼦回路 𝑈(𝜃) 量⼦ビットの状態を観測 量⼦ビットが量⼦回路で状態が変わり，その状態を観測する． 観測結果に計算結果が乗っかる．

量⼦計算と量⼦計算機 • 量⼦を使うもの以外は古典という． 量⼦回路でNAND回路を実現できるので， • 量⼦計算機は古典計算機と同じ計算ができる． あらゆる論理回路を作れる． • だからといって，古典で動くプログラムが簡単に動くわけではないし，それ を⽬指していない． 量⼦計算機は量⼦計算が得意． • 量⼦計算機で古典アルゴリズムを動かしても意味がない． • 量⼦計算の特性を⽣かした量⼦アルゴリズムを考える必要がある． • 量⼦計算機がスーパーコンピュータに取って代わることはない． • スーパーコンピュータの価値は失われないし，これからも開発される． • 量⼦計算は古典計算機でも出来る． 量⼦計算：量⼦の性質を使った計算 量⼦計算機：量⼦計算で使う量⼦ビットと量⼦ゲートを物理的に実装した計算機

量⼦機械学習 • 量⼦計算を⽤いた機械学習を量⼦機械学習という． • 量⼦サポートベクタマシン(Havlíček, Córcoles, Temme, Harrow, Kandala, Chow, Gambetta, 2019) • 量⼦ボルツマンマシン (Ackley, Hinton, Sejnowski, 1985) • ハイブリッド量⼦オートエンコーダ(Srikumar, Hill, Hollenberg, 2021) • 量⼦誤差逆伝播ニューラルネットワーク(Chen, Niu, 2020) • 量⼦畳み込みニューラルネットワーク(Li, Zhou, Xu, Luo, Hu, 2020) • 量⼦リカレントニューラルネットワーク(Gyongyosi, Imre, 2019) • など • すでに，すぐ思いつきそうなことは⼤抵やられている． • 研究する上でのポイント • 量⼦計算を使うだけでは意味がない． • しかし，やってみて気付くこともあるかもしれない． • 量⼦計算の特性をどう使うかが，どう活かすか重要である．

量⼦計算も開発環境が整っている • 量⼦計算のライブラリも無料で使える． • Qiskitなど • 量⼦計算もNVIDIAのGPUを使った⾼速計算が可能である． • Qiskit+cuQuantum(cuTensorとcuStateVecに依存)

まとめ • 最先端の⼈⼯知能技術を理解し続けるには⽇々新しい技術の習得が必要で ある． • これからは特に応⽤が重要である． • • • • エンジニアの時代である． 道具は揃っている． 誰でも挑戦できる． 新たなサービス開発だけではなく⾝近なタスクの改善にも使う． • 研究者は企業と違う視点で研究テーマを模索することも必要だろう． • 中⾝の理解を捨てる勇気も必要かもしれない． • 特に，応⽤研究では技術の中⾝の理解より応⽤先での有効性が重要である． • ビジネスならば実装スピードが特に重要になる． • 中⾝の技術の理解は専⾨家に任せる．