SAOのシステムコールっぽいのを実装してみた

SAOのシステムコールっぽいのを実装してみた SAOのシステムコールっぽいのを実装してみた 1 2024 XR LT大会

SAOのシステムコールっぽいのを実装してみた MESON 比留間 和也（あだ名：えど） 面白法人カヤックでWebエンジニアのリーダーを 務めたのち3DCGおよびVRの魅力にハマり、その 後コロプラの仮想現実チームに転籍。VRゲーム 「Nyoro The Snake & Seven Islands」開発のリー ドエンジニアを務め、多数のVRゲーム開発を経 2 2024 XR LT大会 験。MESONに入社後、XRエンジニアとして活動 したのち、CTOに就任。

SAOのシステムコールっぽいのを実装してみた はじめに 本プロジェクトはOpenAIのRealtimeAPIを用いた音声AIサンプル 「システムコール」というキーワードで機能を呼び出し SAO（ソードアート・オンライン）の世界観を実現 3 2024 XR LT大会

SAOのシステムコールっぽいのを実装してみた システムコールとは？ SAOで使用される（魔法のような）コマンドをイメージ プレイヤーが声で機能を呼び出せる 例：「システムコール クリエイトメモ」 実装のポイント 音声認識によるコマンド入力 リアルタイムな応答処理 自然な対話体験の実現 4 AIのFunction Callingを活用 2024 XR LT大会

SAOのシステムコールっぽいのを実装してみた 5 2024 XR LT大会

SAOのシステムコールっぽいのを実装してみた 6 2024 XR LT大会

SAOのシステムコールっぽいのを実装してみた 技術スタック Unity + NRSDK OpenAI RealtimeAPI 主な機能 音声によるAIとの自由会話 AIによるシステムコール（Function Calling） XR空間での表示 7 2024 XR LT大会

SAOのシステムコールっぽいのを実装してみた Function Callingの実装 new Tool() { Type = "function", Name = "create_memo", Description = "空間にメモを残すために、メモを生成するための「クリエイトメモ」システムコール。引数にはメモする内容を渡す。", Parameters = new Parameters() { Type = "object", Properties = new Dictionary<string, Property>() { { "memo", new Property() { Type = "string", } } }, Required = new[] { "memo" }, } } 8 2024 XR LT大会

SAOのシステムコールっぽいのを実装してみた 9 2024 XR LT大会

SAOのシステムコールっぽいのを実装してみた 実装の工夫 RealtimeAPIへの音声データ送信 XR空間でのUI配置 Function Callingを活用して「システムコール」を実現 今後の展望 「システムコール」の拡充 アプリ内スクリプトの自動生成とそれによる操作 10 2024 XR LT大会

SAOのシステムコールっぽいのを実装してみた 11 2024 XR LT大会

SAOのシステムコールっぽいのを実装してみた 12 2024 XR LT大会

SAOのシステムコールっぽいのを実装してみた 13 2024 XR LT大会

SAOのシステムコールっぽいのを実装してみた 14 2024 XR LT大会

SAOのシステムコールっぽいのを実装してみた Appendix 参考資料 OpenAI の Realtime API を Unity で利用する V8 エンジンを Unity Android アプリ上で動かす（V8 ビルド編） Android実機でJavaScriptを動かしている動画 15 2024 XR LT大会

• https://zenn.dev/meson_tech_blog/articles/use-openai-realtimeapi-in-unity
• https://edom18.hateblo.jp/entry/2022/05/29/124951
• https://x.com/edo_m18/status/1528569512261324800

SAOのシステムコールっぽいのを実装してみた まとめ SAOの世界観を実現 音声による自然な操作 XR空間での体験 今後の可能性 ご清聴ありがとうございました Created with Marp 16 2024 XR LT大会