手元のPCで動かす、いわゆるローカルLLM（大規模言語モデル）の有効性について検証しました。
クラウドサービスを利用するAIには、コストやセキュリティの問題がありますが、ローカルLLMならこれらの問題を回避できるかもしれません。
実験では、無料で入手可能なLLMを使用し、記事の執筆やインタビューの文字起こしから記事への変換などを試みました。
その結果、LLMの性能はPCのメモリ量に大きく依存しますが、AppleのM1 Maxを搭載したMacでは高性能なLLMも安定して動かすことができました。
これはM1 Maxがユニファイドメモリを採用したSoCで、全コアが統一されたメモリアクセスを行えるためです。
今後、このアーキテクチャはますます普及し、2025年にはAMDもUMAを導入予定です。
IntelもSoCを内包するCore Ultraシリーズを展開していますが、完全なUMAはまだ実現していません。
次回は、AIツールが記者の業務をどの程度助けたかをお伝えします。
出典 : 生成AIがクラウドではなく「ローカルPC」でどこまで動くのか検証してみた https://techtarget.itmedia.co.jp/tt/news/2505/13/news06.html
