大規模な言語モデル（LLMs）が現代のコンピューティングハードウェアの限界を突破しています。たとえば、GPT-3を訓練するのに約1300MWhの電力が消費され、将来のモデルでは都市規模の電力が必要になる可能性があります。これにより、従来のフォン・ノイマンアーキテクチャを超えた計算パラダイムの探求が求められています。
香港中文大学、シンガポール国立大学、イリノイ大学アーバナシャンペーン、UCバークレーの研究者によって公開された技術論文では、次世代のAIを支えるための光フォトニックチップに重点を置いた新しいハードウェア技術を概観しています。
統合フォトニックニューラルネットワークアーキテクチャや超高速行列操作を行うハードウェア、さらには神経形態計算デバイスなどの新しい技術が議論され、LLMsのアーキテクチャにおける自己注意と前進層の分析、そしてこれらを利用するための戦略と挑戦が特定されています。
これらの光計算システムは、エネルギー効率と処理速度の点で電子プロセッサを大きく上回る潜在力を持つと考えられていますが、長い文脈や多くのトークンシーケンスを扱うためのメモリと、超大規模なデータセットを保存するための技術革新が必要とされています。
出典 : Roadmap for AI HW Development, With The Role of Photonic Chips In Supporting Future LLMs (CUHK, NUS, UIUC, Berkeley) https://semiengineering.com/roadmap-for-ai-hw-development-with-the-role-of-photonic-chips-in-supporting-future-llms-cuhk-nus-uiuc-berkeley/
