OS使わず動作するLLMランタイム「NIGHTRUN」をRaspberry Piで動かしてみた

OS使わず動作するLLMランタイム 「NIGHTRUN」をRaspberry Piで動か してみた Koki Miura(@k_miura_io)

自己紹介 • 三浦 耕生(こうき) • 俺の勉強会 運営 • JAWS UG名古屋＆神戸 運営 • 鯱.py 運営 @k_miura_io koki.miura05

PCスペックのインフレ • ローカルLLMを動かすのに高精度なGPUを買い求 める人がいるとか • Raspberry Piのスペックも上がってきていて、対応 したアクセラレーターボードも出ている

PCスペックのインフレ • ローカルLLMを動かすのに高精度なGPUを買い求 める人がいるとか • Raspberry Piのスペックも上がってきていて、対応 したアクセラレーターボードも出ている

どうやらぶっ壊れたっぽい… • Raspberry Pi で LLM8850を認識しない…... • AI pyramid買わないといけない…?

NIGHTRUNとは？ • OSを使用せずにローカルLLMの実 行環境を立ち上げるファームウェア • Rustで書かれていて、ほとんど Claudeがコーディング

対応一覧 Target x86_64 UEFI Status supported Raspberry Pi 5 supported Legacy BIOS not supported Boot media Notes USB any 64-bit UEFI machine, Secure Boot off; validated in QEMU/OVMF; realmachine firmware quirks vary, boot reports welcome microSD validated on a real D0-stepping 8 GB board; UEFI firmware built from pinned source UEFI only

対応モデル Model Quant Size RAM needed Runs on Llama 3.2 1B Instruct Q8_0 1.3 GB 4 GB x86_64, Pi 5 Llama 3.2 3B Instruct Q4_K_M 1.9 GB 6 GB x86_64, Pi 5 Granite 4.1 3B Q4_K_M 2.0 GB 6 GB x86_64, Pi 5 Qwen3 4B Instruct 2507 Q4_K_M 2.3 GB 8 GB x86_64, Pi 5 (8 GB)

ベンチマーク

やってみる • Raspberry Pi ５：主役 • Ubuntu 20.04：ビルドに使う

ビルド・書き込み • ビルド用PCにRustや依存 パッケージをインストール • セットアップスクリプトがある のでそのとおりに操作する だけ • 地味に躓いた

地味に躓いたところ • ディスクを取得するコマンドのバー ジョンが古いがために出力の違いで エラーが出てた • Claudeで修正してビルドが通った • 些細な修正なのでPR出してみた https://github.com/hardrave/NIGHTRUN/pull/2

• https://github.com/hardrave/NIGHTRUN/pull/2

動作確認

まとめ • OSを使わずにRaspberry PiだけでLLMができた • OSを動かすために必要なリソースがLLMに割り当てられて意外と動作が軽い • 1対１のチャットにしか対応してないので、今後の機能改善に期待

ブログ https://bit.ly/45uZVeL

• https://bit.ly/45uZVeL

宣伝 https://bit.ly/4hKp8Js

• https://bit.ly/4hKp8Js

END