最新の小型コンピュータ「Raspberry Pi 5」、通称ラズパイ5で、省スペースながら賢いチャットAIアプリを作れる可能性が広がっています。
ラズパイ5は、パソコンに匹敵する性能を持ちながらも、大規模なLLMを動かすのは厳しいとされていました。
しかし、サイズが小さいLLM「TinyLlama」を使えば、ラズパイ5でも動かすことができるのです。
TinyLlamaはシンガポール工科デザイン大学の開発したもので、11億のパラメータを持ちながら、適切に応答する会話AIの機能を実現しているのが特徴です。
冷却のため専用クーラーが必要になる場面もありますが、4GB RAMのラズパイ5でさえもTinyLlamaを使ったチャットAIアプリが作れるのです。
この技術によって、小型でも力強いAIアプリケーションの開発が、これまで以上に身近なものとなります。
出典 : ラズパイ5でLLMを動かしてみよう、チャットAIのGUIアプリを作成 https://xtech.nikkei.com/atcl/nxt/column/18/02920/082200004/?i_cid=nbpnxt_pgmn_topit