ローカルLLM LT会

Unityで動かす ローカルモデル 2025/03/12 ようさん

自己紹介 名前 : ようさん ● Unityエンジニア ○ ゲーム ○ VR/MR ● 趣味?でTTSやLLM周り X: ayousanz @ayousanz X(Twitter) 2

3

4

プロジェクト(アプリ)で LLM/TTS/STTの機能を使いたい！ 5

APIでいいじゃん！ 6

ユーザーが自由に使える場合 APIコストは？オフラインの場合？ 7

ローカルモデル/サービスを使う？ 8

9

Unityで使う場合は？ 10

Unity Sentis 11

Unity Sentisとは ● Unityの公式機能 ● ONNXモデルを動かすライブラリ ● マルチプラットフォームでruntimeで動く ○ Android/iOS/Windows/Mac … https://unity.com/ja/products/sentis 12

• https://unity.com/ja/products/sentis

公式提供の モデル少ない？？ (LLM,TTS,STTは 一つしかない) 13

Unityで使える外部ライブラリ ● ● ● ● llamacpp-unity (LLM) LLMUnity (LLM) whisper.unity (STT) piper.unity (TTS) 14

• https://github.com/edom18/llamacpp-unity
• https://github.com/undreamai/LLMUnity

(主にTTS)モデルから作りたい マルチプラットフォームに対応したい 15

なければ作ればいいじゃん 16

17

18

19

20

日本語モデルを学習中！ (精度が出ないので苦戦中) 21

まとめ ● 必要に応じて使い分けがだいじ ○ 外部ソフト立ち上げ ○ Unity Sentis ○ ライブラリ導入 ○ モデルを作る 22