マイクロソフトの最新の言語モデル「Phi4」は、膨大な14億のパラメータを持っており、それを11GBのストレージに格納しますが、それがラズベリーパイで動くとは考えにくいでしょう。しかし、その簡易版である「Phi4-mini-reasoning」は、3.8億のパラメータでできており、ストレージは3.2GB必要です。これなら現実的です。
[Gary Explains]の最新動画で、ラズベリーパイにこのモデルをどう加えるかが説明されています。使用されているのは4ビット量子化を使用したバージョンで、その性能は驚異的とはいえないものの、いくつかの単純な問題は解決できます。たとえば、「アリスには5人の兄と3人の姉がいます。アリスの兄には何人の姉がいますか？」という問題に、ラズベリーパイを使っても答えられるのです。
もちろん、PCにGPUを搭載した環境では速い応答が得られますが、4コア8GB RAMのラズベリーパイ5では、同じ問題の答えを得るのに約10分かかります。動作は遅いものの、ラズベリーパイでも動くことは確かです。皆さんがこの遅いLLMを何に使うのか、コメントで教えてください。また、Phi4が気に入らなければ、他にも小さなモデルがいくつかあります。
出典 : An LLM For The Raspberry Pi https://hackaday.com/2025/05/10/an-llm-for-the-raspberry-pi/
