最新のAIモデルをスマートフォンやラップトップで動かせる日が近づいています。従来、巨大なデータセンターでしか運用できなかったこれらのAIですが、カルデラ（CALDERA）と呼ばれる新しいアルゴリズムにより大幅な圧縮が可能になるかもしれません。
この技術は、AIモデルのデータとコード内の冗長性を削減し、情報の精度を下げることでサイズを小さくします。プリンストン大学のアンドレア・ゴールドスミス教授によると、「AIモデルの計算複雑性やストレージ、帯域幅の要求を減らすことは、これまでAIの処理能力や記憶容量の問題に直面していたデバイスやシステムにAIを導入できるようにする」と述べています。
研究チームはメタのオープンソースモデルであるLlama 2とLlama 3を使った実験で、従来の圧縮アルゴリズムと比較して最大5％の改善を達成しました。しかし、最適化されていないため、スマートフォンでのLLMの実行はまだ電力の消耗が激しいとの指摘もあります。この技術は今後、精度を最優先にしないシーンやプライバシーが重要な場面での活用が期待されています。
出典 : Large language models can be squeezed onto your phone — rather than needing 1000s of servers to run — after breakthrough https://www.livescience.com/technology/artificial-intelligence/large-language-models-can-be-squeezed-onto-your-phone-rather-than-needing-1000s-of-servers-to-run-after-breakthrough
