テクノロジーが進むにつれて、処理能力は向上していきます。毎年、プロセッサのパワーや速度、メモリ容量が増え、コストは下がり続けています。しかし、ソフトウェアの改良によって、本来では不十分なハードウェア上で物事を動かすことも可能です。
大規模言語モデル（LLM）の領域では、GPTのようなモデルがトレーニングデータの不足に直面し、スケールアップに困難を感じていますが、[DaveBben]は反対にスケールダウンを試みています。彼は、最小限でLLMを動かせるコンピューター、ESP32を使用して実験をしています。
これを実現するためには、いくつかの妥協が必要でした。まず、巨大なデータセットをGPT-4の数兆個のパラメーターやGPT-3の数百億個から、わずか26万個に縮小しました。使用されたのは、ESP32に最適化された実装であるllama.2cです。この小さなモデルであっても最低1MBのRAMが必要で、2つのコアを持つESP32-S3FH4R2が選ばれました。
最も強力なESP32プロセッサーでさえLLMを有意義に動かすことは難しいですが、試みは成功し、ESP32が486や初期のPentiumチップと同程度の処理能力を持っていることを考えると、これは印象的です。より多くのリソースをLLMに割り当てることで、ChatGPTのようなオンラインモデルと同様の使い方ができるでしょう。
出典 : Large Language Models On Small Computers https://hackaday.com/2024/09/07/large-language-models-on-small-computers/