大規模言語モデル(LLM)を地元で動かす方法や、LLMの世界への入門について書き続けています。最近はOllamaをよく使用していましたが、LM Studioという新しい製品を見つけて試してみることにしました。
驚いたことに、セットアップは非常に簡単で、さらにM1 Macでも十分使える速さでした。RTX 4090が搭載されたWindowsマシンで動かすのと比較して、M1ではそこまで速くはないものの、チャットサーバーやプログラミングの問題解決などに十分役立つ性能を発揮します。
もしLLMやジェネレーティブAIに興味があるなら、無料のLM Studioを試す価値は十分にあるでしょう。新しい発見があるかもしれませんよ。
出典 : The easiest way to run an LLM locally on your Mac https://medium.com/generative-ai-today/the-easiest-way-to-run-an-llm-locally-on-your-mac-cd1bb9d75f47