UCサンタクルーズの研究チームは、大型言語モデル運用時のコストと環境負荷が高い問題に取り組み、
計算に必要な行列乗算を排除する方法を開発しました。行列の要素を三値に制限することで、高価な乗算を廃し、
足し算だけで処理ができるようになったのです。この技術を用いることで、Meta社のLlamaのような先端モデルと同等の性能を維持しています。
さらに、研究チームはカスタムハードウェアも開発。通常GPUが約700ワットを消費するところ、たった13ワットで
超える効率を達成しました。将来的には、データセンター全体のパワーで更なる最適化も可能とみています。
これにより、スマートフォンなどのメモリが少ないデバイスでのフル性能運用に一筋の光が見えてきました。
出典 : https://news.ucsc.edu/2024/06/matmul-free-llm.html