スペインの企業RaiderChipは、Metaによりわずか6日前に発表された最新のLlama 3.2モデルを、FPGA（プログラマブル・ロジック・デバイス）上で高速化された機械学習モデル（LLM）のカタログに追加しました。
既にLlama 2, Llama 3, Llama 3.1などMetaの以前のモデルや、MicrosoftのPhi-2とPhi-3のモデルも含んでいたサポートリストに、市場に投入される最新モデルが常に追加されています。
RaiderChipのGenAI v1 IPコアというハードウェア加速IPコアは、Transformers技術に基づいて構築された任意のモデルを加速するために設計されており、顧客が必要とする特定のデバイスや基礎となるLLMに応じてサポートされるモデルが選ばれています。
基礎となるモデルをサポートすることで、顧客特有のファインチューニングされた派生モデルもシームレスに加速できます。
市場に出ているさまざまなFPGAは、大きさやロジックとメモリ容量が異なります。これらの技術的要因とユニットコストや消費電力、最終的な機能性などの商業的決定により、理想のFPGAとLLMは製品ごとに異なります。
例えば、小さなモデルや4ビット量子化が簡単で経済的なFPGAに基づく製品向けの理想的な選択です。
この新しいLlama 3.2モデルは、Versal FPGAを使ったインタラクティブなデモを通じてテストすることができます。
RaiderChipでは、実際のパフォーマンスを顧客自身が体験して、リアルなデモンストレーターでの知能度やトークン毎秒数などの重要な点を評価することを歓迎しています。
GenAI v1-Q IPコアに関心のある企業は、FPGAデモへのアクセスやAIワークロードの加速についての相談のためにRaiderChipに連絡することができます。
詳細はRaiderChipのウェブサイトでご覧いただけます。
出典 : RaiderChip brings Meta Llama 3.2 LLM HW acceleration to low cost FPGAs https://www.design-reuse.com/news/56854/raiderchip-meta-llama-3-2-llm-hw-acceleration-low-cost-fpga.html