Docker Desktop 4.40 for macOS on Apple Siliconのプレビュー段階において、開発者はDocker Model Runnerを使用し、ローカル上でモデルを実行してアプリケーションコードのイテレーションを行うことができます。コンテナベースのワークフローを乱すことなく、低コストでデータプライバシーを向上させられます。また、ネットワークのレイテンシを減らし、モデルに対するコントロールを強化することが可能です。
Docker Model Runnerは、LLMをコンテナ化されたアプリに統合する際のさまざまな問題点に対処します。たとえば、異なるツールの扱い、環境の構成、コンテナ外でのモデル管理などです。加えて、モデルの保存、共有、提供方法についての標準化された方法が無いため、そのギャップを埋めることも意図しています。
仮想マシンの一般的なパフォーマンスオーバーヘッドを回避するため、Docker Model Runnerはホストベースの実行を使用し、GPUアクセレーションを駆使してApple Silicon上で直接モデルを動かします。これは、推論スピードと開発サイクルの滑らかさに不可欠です。
モデルの配布にあたり、DockerはOCI標準に賭けています。これは、コンテナ配布を支える仕様と同じものであり、両者をシングルワークフロー下で統一することを目指しています。
また、DockerはOpenAI互換のクライアントやフレームワークを通じてModel Runnerを利用する方法を提供しており、これらのクライアントやフレームワークは内部のコンテナからだけでなく、ホストからもTCPホストアクセスを有効にすれば利用できます。さらに、様々なモデルを準備し、Gemma 3を使ったコメント処理アプリの統合を指南するチュートリアルを公開しています。
Docker Model RunnerがLLMをローカルで実行する唯一の選択肢ではありません。Dockerのコンテナ中心のアプローチに魅かれない場合は、Ollamaもまた検討すべきオプションです。Ollamaはスタンドアローンのツールであり、より大きなモデルリポジトリとコミュニティを持つとともに、モデルカスタマイズの点で一般に柔軟です。Docker Model Runnerが現在macOS専用であるのに対して、Ollamaはクロスプラットフォームに対応しています。
出典 : Docker Model Runner Aims to Make it Easier to Run LLM Models Locally https://www.infoq.com/news/2025/04/docker-model-runner/
