LLMs（大規模言語モデル）に関する実験を、もはや日常の楽しみと化している筆者が、新たなプロダクト「LM Studio」に挑戦。
Mac Miniでの実行経験をレポートします。通常はWindows 11とArch Linuxを搭載したDigital Storm PCで作業していますが、今回はM1搭載のMac Miniで体験。予想外の速度に驚いた様子が伝わってきます。
インストールは簡単で、ウェブサイトからダウンロード後アプリケーションフォルダにドラッグするだけ。LM Studioはホームスクリーンから複数のモデルを選択でき、簡単にダウンロード可能。APIを介したインターフェースでモデルを操作し、チャットサーバーとしても実行できます。
実際に色々試してみた結果、特にMicrosoft Phi 2モデルは非常に反応が良く、きれいな結果が素早く得られたそうです。M1上での7Bモデルの実行も、それなりに速度を出しており、プログラミングの問題に対しても迅速に適切なコードを生成できました。
初心者から上級者まで、誰でも気軽に試せて、しかも無料。LM Studioで新しい創造を開始してみませんか？興味を持たれた方はすぐにダウンロードを。
ご意見やご質問があれば、筆者にぜひご連絡を。
出典 : https://medium.com/@jeremymorgan/the-easiest-way-to-run-an-llm-locally-on-your-mac-cd1bb9d75f47