JetsonとローカルLLMでポータブル脳みそをつくる
1.9K Views
February 23, 25
スライド概要
JetsonUG #7 雑談会 「reComputer JetsonをSeeed社員に教えてもらおう」にて登壇
闇のエンジニア/変なデジカメ開発中/ディープラーニング芸人/Raspberry Piとからあげ大好き/はてなブログ書いてます
関連スライド
各ページのテキスト
JetsonとローカルLLMで ポータブル脳みそをつくる 〜ミソ・イン・ザ・スープ〜 JetsonUG #7 雑談会
自己紹介 名前：からあげ（本名は内緒） 職業：AIのおしごと 家族：妻・娘・ネコ x 2 https://karaage.hatenadiary.jp @karaage0703 karaage0703 ブログ、各種SNSで情報発信しています
主な著書・寄稿・協力 2021/01/08発売 2021/04/21 改訂版発売 2024/01/29発売 4万部のベストセラー その他、寄稿・協力・個人出版多数(20冊以上） （ラズパイマガジン・日経Linux…） 2025/01/22発売 ← New!!
What’s ポータブル脳みそ 自宅に脳みそ 欲しいですよ ね “そのときは、なんとなくそのまま会話が終わったのですが。 その後、ポータブルな脳みそが欲しくなってきたので作ってみる ことにしました。” からあげ（@karaage0703） note．ポータブル脳みそ 〜ミソ・イン・ザ・スープ〜を作ってみました． https://karaage.hatenadiary.jp/entry/2024/06/21/125715
ポータブル脳みそ 第1世代 （YouTube．ポータブル脳みそ 〜ミソ・イン・ザ・スープ〜．https://youtu.be/jkYVYnC-8sw）
システム構成 https://protopedia.net/prototype/5366
ポータブル脳みそ 第2世代 • 脳みそ物理化 • 発話 • Raspberry Pi 5 → reComputer J4012 • Gemma 2B → tanuki-8B （X．https://x.com/karaage0703/status/1860136717266928114）
特徴 • 脳みそが自分で考えて話している（ように見える） • 脳みその個性？役割？を日本語で指示 • クラウド未使用
Hardware Jetson Orin NX16GB x4 miso-in-the-soupxiao Touch Pads x47 Serial LEDs USB reComputer J4012 XIAO ESP32C6 reSpeaker Lite Speaker
Software Ollama LLM miso-in-the-soupxiao.ino 7shi/tanuki-dpo-v1.0:8b-q6_K ommf2024_demo.p y VOICEBOX https://github.com/matsujirushi/miso-in-the-soup-xiao https://github.com/karaage0703/miso-in-the-soup Open JTalk Dictionary
余談：Ollamaの動かし方 自分の環境だと素のOllamaはうまく動かせなかったのでJetson Containersで 動かしています。 $ git clone https://github.com/dusty-nv/jetson-containers $ bash jetson-containers/install.sh $ jetson-containers run --name ollama $(autotag ollama) Zennの記事で詳しく書いてありますので詳しくは参考にしてください https://zenn.dev/karaage0703/articles/3a2067b6b92e06
多分時間が余るのでOne more thing…
話題のDeep Seek R1を動かす • Jetson Orin NX 16GBでも話題のDeepseek-R1が動く（ときもある） • Ollamaでdeepseek-r1:14bを選択
Deep Seek R1で小説を自動生成 Jetson Orin NX16GB(reComputer J4012) MacBook deep-novelist - Python - Gradio https://github.com/karaage0703/deep-novelist Ollama DeepSeek-R1-DistillQwen-14B-Japanese-gguf