AI技術が進化する今、特別なハードウェアなしでも自宅のPCで大規模な言語モデル(LLMs)を利用できるようになりました。例えば、チャットボットの「Mistral」やコード生成ツールの「Codellama」などが動作可能です。
オープンソースのツール「Ollama」のおかげで、Windows、Linux、Macでほぼ同じ方法でこれらのモデルを簡単に起動できます。OllamaはNvidiaやAppleのMシリーズGPUをサポートしており、適切なドライバと共に、AMDのGPUでも利用するためのガイドが提供されています。GPUが無くてもCPUで動かすことが可能ですが、速度は遅くなります。
Ollamaの管理やアップデートもDockerのようなCLIツールを使った経験があれば使いやすく、コマンド一つでモデルを追加や削除できます。これらのツールを使って、あなたもAIの力を自宅で体験してみませんか？
出典 : https://www.theregister.com/2024/03/17/ai_pc_local_llm/