--- title: OS使わず動作するLLMランタイム「NIGHTRUN」をRaspberry Piで動かしてみた tags: #名古屋llmmeetup author: [Koki Miura](https://docswell.com/user/k_miura_io) site: [Docswell](https://www.docswell.com/) thumbnail: https://bcdn.docswell.com/page/DEY43LG5JM.jpg?width=480 description: 2026/7/30 製造業でも生成AI活用したい！名古屋LLM MeetUp#13 https://kinto-technologies.connpass.com/event/396249/ published: July 30, 26 canonical: https://docswell.com/s/k_miura_io/5PRYQG-2026-07-30-202510 --- # Page. 1 ![Page Image](https://bcdn.docswell.com/page/DEY43LG5JM.jpg) OS使わず動作するLLMランタイム 「NIGHTRUN」をRaspberry Piで動か してみた Koki Miura(@k_miura_io) # Page. 2 ![Page Image](https://bcdn.docswell.com/page/VJNYV4G478.jpg) 自己紹介 • 三浦 耕生(こうき) • 俺の勉強会 運営 • JAWS UG名古屋＆神戸 運営 • 鯱.py 運営 @k_miura_io koki.miura05 # Page. 3 ![Page Image](https://bcdn.docswell.com/page/YE9P6QW4J3.jpg) PCスペックのインフレ • ローカルLLMを動かすのに高精度なGPUを買い求 める人がいるとか • Raspberry Piのスペックも上がってきていて、対応 したアクセラレーターボードも出ている # Page. 4 ![Page Image](https://bcdn.docswell.com/page/GE8DZGNVED.jpg) PCスペックのインフレ • ローカルLLMを動かすのに高精度なGPUを買い求 める人がいるとか • Raspberry Piのスペックも上がってきていて、対応 したアクセラレーターボードも出ている # Page. 5 ![Page Image](https://bcdn.docswell.com/page/LELMDGPR7R.jpg) どうやらぶっ壊れたっぽい… • Raspberry Pi で LLM8850を認識しない…... • AI pyramid買わないといけない…? # Page. 6 ![Page Image](https://bcdn.docswell.com/page/4JMYPQ4PJW.jpg) # Page. 7 ![Page Image](https://bcdn.docswell.com/page/PJR918WY79.jpg) # Page. 8 ![Page Image](https://bcdn.docswell.com/page/PEXQY8P4JX.jpg) # Page. 9 ![Page Image](https://bcdn.docswell.com/page/3EK93KDPED.jpg) NIGHTRUNとは？ • OSを使用せずにローカルLLMの実 行環境を立ち上げるファームウェア • Rustで書かれていて、ほとんど Claudeがコーディング # Page. 10 ![Page Image](https://bcdn.docswell.com/page/L73WGZR475.jpg) 対応一覧 Target x86_64 UEFI Status supported Raspberry Pi 5 supported Legacy BIOS not supported Boot media Notes USB any 64-bit UEFI machine, Secure Boot off; validated in QEMU/OVMF; realmachine firmware quirks vary, boot reports welcome microSD validated on a real D0-stepping 8 GB board; UEFI firmware built from pinned source UEFI only # Page. 11 ![Page Image](https://bcdn.docswell.com/page/87DK1RY5JG.jpg) 対応モデル Model Quant Size RAM needed Runs on Llama 3.2 1B Instruct Q8_0 1.3 GB 4 GB x86_64, Pi 5 Llama 3.2 3B Instruct Q4_K_M 1.9 GB 6 GB x86_64, Pi 5 Granite 4.1 3B Q4_K_M 2.0 GB 6 GB x86_64, Pi 5 Qwen3 4B Instruct 2507 Q4_K_M 2.3 GB 8 GB x86_64, Pi 5 (8 GB) # Page. 12 ![Page Image](https://bcdn.docswell.com/page/VJPKQW6DE8.jpg) ベンチマーク # Page. 13 ![Page Image](https://bcdn.docswell.com/page/2EVV583GEQ.jpg) やってみる • Raspberry Pi ５：主役 • Ubuntu 20.04：ビルドに使う # Page. 14 ![Page Image](https://bcdn.docswell.com/page/57GL65YDEL.jpg) ビルド・書き込み • ビルド用PCにRustや依存 パッケージをインストール • セットアップスクリプトがある のでそのとおりに操作する だけ • 地味に躓いた # Page. 15 ![Page Image](https://bcdn.docswell.com/page/4EQY4ZMXJP.jpg) 地味に躓いたところ • ディスクを取得するコマンドのバー ジョンが古いがために出力の違いで エラーが出てた • Claudeで修正してビルドが通った • 些細な修正なのでPR出してみた https://github.com/hardrave/NIGHTRUN/pull/2 # Page. 16 ![Page Image](https://bcdn.docswell.com/page/KJ4WQ3V271.jpg) 動作確認 # Page. 17 ![Page Image](https://bcdn.docswell.com/page/LE1YP13K7G.jpg) まとめ • OSを使わずにRaspberry PiだけでLLMができた • OSを動かすために必要なリソースがLLMに割り当てられて意外と動作が軽い • 1対１のチャットにしか対応してないので、今後の機能改善に期待 # Page. 18 ![Page Image](https://bcdn.docswell.com/page/GEWG28PPJ2.jpg) ブログ https://bit.ly/45uZVeL # Page. 19 ![Page Image](https://bcdn.docswell.com/page/47ZLD8K6J3.jpg) 宣伝 https://bit.ly/4hKp8Js # Page. 20 ![Page Image](https://bcdn.docswell.com/page/YJ6W1PQLJV.jpg) END