オープンソースコミュニティの進歩により、自宅のPCやCPUベースのサーバーで高性能な言語モデルを動かし、専用のチャットインターフェースで対話することが簡単になりました。
このチュートリアルでは、ローカルで動作する大規模言語モデル（LLM）に、見やすいChatGPT風のUIを付ける方法を、シンプルな4ステップで解説します。事前に必要なソフトウェアをインストール済みなら、手順にかかる作業時間は実質15分です。
まずは、Huggingface LLMから好みのモデルを選択し、モデルの「パス」をコピーします。次にモデルを量子化し、OLLAMAを使用してモデルをビルド・実行します。最後に、OLLAMAに対応したチャットUIを設定し、ブラウザから対話が可能になります。
これで、第三者のサーバーにデータを送信することなく、手軽にプライベートなAIチャットボットを楽しめるようになります。詳しくはGitHubリポジトリを参照してください。
出典 : https://medium.com/towards-data-science/set-up-a-local-llm-on-cpu-with-chat-ui-in-15-minutes-4cdc741408df