低消費電力でAIの未来を切り開く「Slim-Llama」のチップ開発について

2024.12.19

WorkWonders

KAISTの研究者たちが新しいASIC「Slim-Llama」を開発しました。このチップは、従来の大型言語モデルが抱えていた外部メモリへの頻繁なアクセスによる高い電力需要の問題に対処しています。
Slim-Llamaは、モデルの重みを1ビットまたは2ビットしか使わない二進法/三進法の量子化を用い、その結果、計算とメモリの要求量を大幅に減らしています。

さらに効率を高めるために、スパースデータの扱いを改善し無駄な計算を削減するスパーシティ認識型ルックアップテーブルを統合しています。また、出力の再利用スキームやインデックスベクトルの並べ替えを取り入れることで、冗長な操作を最小限に抑えデータフローの効率を改善しています。

この技術は従来の最先端ソリューションと比較して4.59倍のエネルギー効率の改善を実現しており、4.69mWの低消費電力で動作し、200MHzで82.07mWまでスケールアップ可能です。高周波数でもエネルギー効率を保つことができます。

Slim-Llamaは、省エネとパフォーマンスを実現しつつ、10億パラメータモデルを低消費電力で動作させる初のASICとしても注目されています。
この技術革新が、より持続可能で手の届きやすいAIハードウェアソリューションへの道を切り開くかもしれません。詳細は2025年2月19日、サンフランシスコで開催されるIEEE国際固体回路会議で発表される予定です。

出典 : Slim-Llama is an LLM ASIC processor that can tackle 3-bllion parameters while sipping only 4.69mW – and we’ll find out more on this potential AI game changer very soon https://www.techradar.com/pro/slim-llama-is-an-llm-asic-processor-that-can-tackle-3-bllion-parameters-while-sipping-only-4-69mw-and-we-shall-find-out-more-about-this-potential-ai-game-changer-in-february-2025

【このニュース記事は生成AIを利用し、世界のAI関連ニュースをキュレーションしています】

【お知らせ】
弊社ワークワンダース社主催の【無料】ウェビナーのご案内です。

ウェビナー画像

経営者/管理職のため30分でわかる「生成AIはじめの一歩」ショートセミナー【無料】


【登壇者】
安達裕哉(ワークワンダース代表取締役社長)

【日時】
2025年3月18日(火) 15:30~16:00 + 質疑応答

【募集人数】
30名

【参加費】
無料

【セミナーの内容】

1. 生成AIの利活用についての日本の現状
生成AIは世界中で可能性が模索されていますが、日本ではまだ利活用が限定的です。 日本企業は新技術の導入に対し慎重な傾向があります。

2. 何に使える?生成AI
生成AIは、新しいデータや情報を生成する能力を持っています。 企業の生産性向上に寄与する7つの主要な活用方法について解説します。

3. 生成AIの導入手続き
生成AIの導入にあたり、目的設定・課題評価・パイロットプロジェクト実施・ 社内展開・従業員教育の重要ポイントを解説します。

質疑応答
生成AIに関する疑問や不安を解消するために、参加者からの質問を受け付けます。

ご参加は以下のリンクからお申込みください。
▶ ウェビナーお申込みページはこちら