2時に眠れずにAPIの使用状況を眺めていると、毎回のAPI呼び出しが無駄な出費のように感じました。「もっと良い方法があるはず」と考え、調べた結果、Apple Siliconを搭載したMacでローカルに大規模言語モデルを実行するMLX-LMを見つけました。この新しいアプローチでは、外部のAPIキーとの契約を解除し、メーターやネットワーク遅延なしで、MacBookだけですべてを処理できるようになります。
MLX-LMはPythonライブラリであり、単純なコマンドで簡単にインストールでき、初期ダウンロード後は非常に高速なローカル推論が可能です。チャットアプリケーションや対話型体験を構築し、メッセージごとにコストがかからないことで、金銭的な自由と柔軟性が手に入ります。
しかし、今までクラウドAPIに依存する方法とは異なる局所的アプローチにも難点はあります。特にメモリ管理が挑戦的でしたが、MLX-LMの最適化機能を使い、効率的なメモリ使用とファンの騒音を最小限に抑えることができます。プライバシーを保ちながら、無駄な出費を抑えたこの方法で、すでに多くのアプリケーションを作成しました。
MacBookを日常の計算能力としてみると、AIの世界でも十分な性能を発揮することがわかり、ハードウェアの投資費用や継続的な運用コストが圧倒的に低くなります。この発見は、AIをリモートサービスとしてではなく、もっと手軽なリソースとして利用する新しいパラダイムへと私を導きました。
出典 : Goodbye API Keys, Hello Local LLMs: How I Cut Costs by Running LLM Models on my M3 MacBook https://medium.com/@lukekerbs/goodbye-api-keys-hello-local-llms-how-i-cut-costs-by-running-llm-models-on-my-m3-macbook-a3074e24fee5
