Docker Model Runner 〜ローカル環境で LLM を簡単に実行、Docker が提案する新しい生成AIアプリ開発体験〜

Docker Model Runner ローカル環境で LLM を簡単に実行 Docker が提案する新しい生成 AIアプリ開発体験 Tadashi Nemoto Strategic Solutions Engineer

開発者が簡単に生成AIアプリ開発を始めるには? どこから生成 AIアプリ開発をは じめればいいのか ? 76% モデルはクラウド・ローカルどち らで・どのように実行 すればいいのか ? どの LLM・ツールを 使用・連携すればいいのか ? の開発者が生成 AIに関する知識・経験に自 信がない Source: IBM AI Enterprise App Developer Survey 2025

• https://newsroom.ibm.com/blog-survey-generative-ai-makes-tasks-simple,-but-developing-that-ai-is-anything-but

Vision 新しい技術スタック (LLM ・生成AIアプリ開発 )においても 普段利用しているプロセスやツールを用いて開 発できるようにする

Docker Model Runner Docker は LLM アプリ作成における開発者の設定や ツールにおける課題の解決をお手伝いします ローカル環境で LLM を実行可能 (Apple Silicon Mac GPU / Windows NVIDIA GPU のGPUアクセラレーションを活用 ) 外部でLLMを実行するのに比較し、低コスト、 安全、レスポンス早く LLM アプリの開発が可能 Docker Hub から LLM を Pull するだけで実行可能 (Docker と同様のインターフェース ) 複数のモデル・ツールをインストール・管理 するコストを削減 OpenAI API と互換性

CLI # llama3.2:3B-F16 モデルを Pull する $ docker model pull ai/llama3.2:3B-F16 # List available models 利用可能な $ docker model list # モデルを削除する $ docker model rm ai/llama3.2:3B-F16 # Docker Model Runner のステータスを確認する $ docker model status # モデルとのインタラクティブセッションを開始する $ docker model run ai/llama3.2:3B-F16 Interactive chat mode started. Type '/bye' to exit. >

OpenAI API との互換性
CLI

$ curl https://api.openai.com/v1/chat/completions \

$ curl http://localhost:12434/engines/llama.cpp/v1/chat/completions \

-H "Content-Type: application/json" \

-H "Content-Type: application/json" \

-d '{

-d '{

"model": "gpt-4o",

"model": "ai/llama3.2:1B-Q8_0",

"messages": [

"messages": [

{

{
"role": "developer",

"role": "developer",

"content": "You are a helpful assistant."

"content": "You are a helpful assistant."

},

},

{

{
"role": "user",

"role": "user",

"content": "Hello!"

"content": "Hello!"

}

}

]

]

}'

}'

FAQs ➔ モデルはGPUを利用したコンテナで動いているのですか? ○ いいえ、モデルは llama.cpp を通じてホスト側でネイティブに動作しています、コンテナ・ Docker Desktop VM では動 いていません。 ➔ 動作環境を教えて下さい ○ ➔ どのようにモデルが配布されていますか? ○ ➔ Apple Silicon を搭載した Mac で動作することができます。Windows(NVIDIA GPU)は近日サポート予定です。 OCI(Open Container Initiative) アーティファクトとしてパッケージ・配布がされています 自身のモデルを作成し、Docker Hub に公開することはできるのでしょうか? ○ 近日中に実装予定です。また OCI アーティファクトとしてパッケージされるため、OCI の準拠したレジストリでも保存・公開 することができます。

Docker Model Runner - ロードマップ Now Next • MacOS Apple Silicon サポート • Windows サポート (NVIDIA) • OpenAI API • より多くのモデルを Docker Hub にて提供 (GenAI Catalog) • llama.cpp バックエンド • ユーザーによる Docker Hub へのモデルの Push • CLI を使った操作 • Docker Compose との連携 • Docker Hub からモデルを Pull • Testcontainers との連携 • Docker Hub において人気の高いモデルを提供 • より多くの docker model コマンドの提供 ● docker model logs ● docker model ps ● docker model search ● docker model df • OpenAI 互換性の向上 • MLX サポート (Apple Silicon でのパフォーマンス向上 ) • GUI

Docker Compose / Testcontainers compose.yaml services: llm: provider: type: model options: model: ai/gemma3:4B-F16 app: build: ./ ports: - 3000:3000 volumes: - ./dev/config:/config db: image: postgres:17.4 environment: POSTGRES_PASSWORD: dev // Java RedisContainer redis = new RedisContainer("redis:7.4"); ModelRunnerContainer model = new ModelRunnerContainer() .withModel("ai/gemma3:4B-F16"); model.start(); // JavaScript/Node.js const redis = await new RedisContainer("redis:7.4") .start(); const model = await new ModelRunnerContainer("ai/gemma3:4B-F16") .start();

Thank you!!