Googleの元エンジニア、ジョナサン・ロスが率いるGroq社が、AIアプリケーションで最速の処理速度を誇ると主張する「言語処理ユニット（LPU）」の開発に成功しました。
ロス氏は、Googleのテンソル処理ユニット（TPU）を設計した経験を活かし、2016年にGroqを創設。CPUやGPUよりも高効率な深層学習の推論タスクを実行するチップを作り出すべく尽力しています。
LPUは、複雑なスケジューリングハードウェアを必要としないストリーミング方式を採用し、一貫した遅延時間と処理量を保証します。
また、エネルギー効率が高く、複数のスレッドを管理するオーバーヘッドを削減し、コアの未使用を避けます。
Groqのスケーラブルなチップ設計は、従来のボトルネックなく複数のTSPをリンクさせることを可能にし、大規模AIモデルにおけるハードウェア要求を簡素化しています。
公開されたデモでは、数百語の回答を1秒未満で生成するAI回答エンジンを見事に披露。
これにより、チャットボット「Chat-GPT」との比較が期待されています。
自身でGroqの速さを体験したい方は、指定のチャットページで様々なモデルとの切り替えを試すことができます。
出典 : https://www.techradar.com/pro/feels-like-magic-groqs-ultrafast-lpu-could-well-be-the-first-llm-native-processor-and-its-latest-demo-may-well-convince-nvidia-and-amd-to-get-out-their-checkbooks