清華大学の研究チームが、“Hecaton: Training and Finetuning Large Language Models with Scalable Chiplet Systems”と題した技術論文を発表しました。
大規模な言語モデルのトレーニングやファインチューニングは膨大な計算処理とメモリが必要ですが、Hecatonと呼ばれる新しいチップレットアーキテクチャは、これらの問題に対処するために開発されました。
このシステムはDRAMアクセスを劇的に削減し、分散トレーニングを効率的に行うために設計されており、計算と通信の比率を一定に保ちながら性能のスケーリングを実現しています。
実験では、従来のテンソル並列性を用いたモデルと比較して4.98倍のパフォーマンス向上と2.35倍のエネルギー削減を果たしており、大規模言語モデルのトレーニングの新たな可能性を切り開いています。
この技術論文は、2024年7月に公開され、その画期的な内容は学界や技術者の間で注目を集めています。
出典 : Scalable Chiplet System for LLM Training, Finetuning and Reduced DRAM Accesses (Tsinghua University) https://semiengineering.com/scalable-chiplet-system-for-llm-training-finetuning-and-reduced-dram-accesses-tsinghua-university/
