Googleの研究部門であるDeepMindが、大規模言語モデル（LLM）の環境影響とコストを減らす新しいアプローチを提案しました。その中核にあるのは、”Relaxed Recursive Transformers”（RRT）と呼ばれる技術で、入力データを少ない層で繰り返し処理することにより、
メモリ要件を削減し、計算資源を大幅に削減します。また、”Layer Tying”および”low-ranking adaptation”（LoRA）を利用して、単一の重みを共有しながら、繰り返しのたびに異なる処理を提供することが可能です。
これにより、LLMは小規模ながら、従来の小規模言語モデル（SLM）をしのぐ性能を発揮します。また、同時に複数の入力を扱う”batch-wise processing”を活用することで、さらに計算資源を節約できる可能性があります。深く掘り下げられた研究により、今後、実際のアプリケーションでの使用が現実のものとなる日も近いと期待されています。
小規模ながら効率的なモデルの開発は、MetaやMicrosoft、HuggingFaceといった企業でも進んでおり、将来的には標準の大規模モデルが不要になる日が来るかもしれません。
出典 : Google DeepMind Just Made Small Models Irrelevant with RRTs https://analyticsindiamag.com/ai-origins-evolution/google-deepmind-just-made-small-models-irrelevant-with-rrts/