KAISTの研究者たちが新しいASIC「Slim-Llama」を開発しました。このチップは、従来の大型言語モデルが抱えていた外部メモリへの頻繁なアクセスによる高い電力需要の問題に対処しています。
Slim-Llamaは、モデルの重みを1ビットまたは2ビットしか使わない二進法/三進法の量子化を用い、その結果、計算とメモリの要求量を大幅に減らしています。
さらに効率を高めるために、スパースデータの扱いを改善し無駄な計算を削減するスパーシティ認識型ルックアップテーブルを統合しています。また、出力の再利用スキームやインデックスベクトルの並べ替えを取り入れることで、冗長な操作を最小限に抑えデータフローの効率を改善しています。
この技術は従来の最先端ソリューションと比較して4.59倍のエネルギー効率の改善を実現しており、4.69mWの低消費電力で動作し、200MHzで82.07mWまでスケールアップ可能です。高周波数でもエネルギー効率を保つことができます。
Slim-Llamaは、省エネとパフォーマンスを実現しつつ、10億パラメータモデルを低消費電力で動作させる初のASICとしても注目されています。
この技術革新が、より持続可能で手の届きやすいAIハードウェアソリューションへの道を切り開くかもしれません。詳細は2025年2月19日、サンフランシスコで開催されるIEEE国際固体回路会議で発表される予定です。
出典 : Slim-Llama is an LLM ASIC processor that can tackle 3-bllion parameters while sipping only 4.69mW – and we’ll find out more on this potential AI game changer very soon https://www.techradar.com/pro/slim-llama-is-an-llm-asic-processor-that-can-tackle-3-bllion-parameters-while-sipping-only-4-69mw-and-we-shall-find-out-more-about-this-potential-ai-game-changer-in-february-2025
