近年、AI技術は目まぐるしい進化を遂げています。特に生成AI（LLM）はその発展が顕著で、新しいモデルが次々にリリースされています。たとえば、DeepSeek-R1やQwen3などがありますが、数ヶ月後にはさらに新しいモデルが話題を集めるでしょう。
今回は、自宅にあるPCや余っているビデオカードを活用して、Ollamaを用いたLLMサーバーを構築する方法をご紹介します。OllamaはGo言語で開発されたオープンソースのシングルバイナリプログラムで、Ubuntuを利用するのがおすすめです。
Ubuntu Serverのインストールについては既に紹介されていますが、ついにUbuntu 24.04.2 LTSが登場しました。インストール方法は以前とほぼ変わらず、第26回の記事が役立ちます。
Ollamaのインストールは非常に簡単で、シングルバイナリのため、Dockerを利用せずともコマンド一つで済みます。また、システムの起動にはsystemdのunitファイルを編集する必要があり、これによりどのPCからでもアクセス可能なサーバーを作れます。さらに、AMD GPUを使用する場合はROCmというドライバのインストールが必要ですが、特定のGPUでは環境変数を使って強制的に認識させることも可能です。
最後に、Ollamaサーバーに接続するためのクライアントは数多くリリースされており、今回はWitsyを選択しました。設定して質問することで、さまざまなモデルから迅速な回答を得られます。簡単なPCで先進的なAIの世界を体験できるのは、まさに興味深いことです。
出典 : 【Ubuntu日和】 【第73回】余っているPCとビデオカードで生成AIサーバーを建てよう https://pc.watch.impress.co.jp/docs/column/ubuntu/2014862.html
