東京にあるSakana AIと東京科学大学のチームが、大規模言語モデルをさらに進化させた「Transformer2」というフレームワークを発表しました。この新技術は、様々なタスクを自分で理解して対応できるようになります。
特に注目すべきは「Singular Value Fine-tuning」と呼ばれる効率的な訓練方法で、これにより少ないデータでも効果的に学習が進められることです。さらに、米Metaが提案した「メモリー層」という新しいアイデアも存在感を増しており、AIの将来に大きな変化を与えることが期待されます。
技術の進化だけでなく、最適なハードウエアの設計とその運用も重要な課題となっており、AmazonやNVIDIAといった大企業もこの流れに影響を受けています。
出典 : 東京発Sakana AIが新たな「Transformer」を提案、12月から1月のAI最新論文 https://xtech.nikkei.com/atcl/nxt/column/18/02801/012200014/
