ByteDance社が、大型言語モデル（LLM）のトレーニング効率を1.71倍向上させたと発表しました。これにより、NvidiaのハイエンドGPUへの需要減少が見込まれます。
開発チーム「Doubao」は、専門家のネットワークを使用して問題を分割する最適化されたシステム「COMET」を用いて、効率を「1.71倍」向上させたとのことです。
この成果は、1万台以上のGPUを使用する製造環境で既に採用されており、「数百万時間のGPU使用時間の節約」を実現していると言います。
この技術により、計算コストを変えずにトリリオン規模のパラメーターを持つLLMをスケールアップすることができます。
AI業界の先導モデルであるGrokやDeepSeekでも採用されている手法です。
出典 : ByteDance says new AI technology boosts model training efficiency https://www.scmp.com/tech/big-tech/article/3301979/bytedance-says-new-ai-technology-boosts-model-training-efficiency-17-times
