私たちのスマートフォンはポケットサイズのコンピューターと言っても過言ではありません。
高性能なスマートフォンを使えば、オフラインでも大規模言語モデル（LLM）を走らせることが可能です。ただし、多くのRAMが要求されるため、高性能な機種が必要です。
例えば、7億パラメータのデータセットで訓練されたVicuna-7Bモデルは、AndroidスマートフォンでMLCのアプリを介して6GBのRAMを使い動作させることができます。
MLC LLMを使えば、LLMをダウンロードしてスマートフォン上で実行する手順は驚くほど簡単になります。
iOS版もあるそのアプリは、Vicuna 7BやRedPajama 3Bといったさまざまなモデルのインストールや実行をサポートしており、
ストアからダウンロードすることで、簡単にAIモデルをスマートフォンで走らせる道が開かれます。
これにより、学習やゲームだけでなく、スマートフォンでできることの領域が大きく広がります。
出典 : You can run local LLMs on your smartphone, here’s how https://www.xda-developers.com/run-local-llms-smartphone/