研究者たちが、大規模言語モデル（LLM）の性能を左右する、とても重要な「スーパーウェイト」という一つのパラメータを発見しました。
このスーパーウェイトを除去するだけで、AIが生成する文章の質が大幅に悪化してしまうことを明らかにしました。
驚くべきことに、この重要なパラメータは通常の上位7000個の重要なパラメータとは異なり、モデルの初期層に位置しており、特定の活性化を引き起こす役割を持っています。
この発見は、AIの効率的な運用に役立つ可能性があり、将来の技術開発の手がかりとなりそうです。
興味のある方は、AI技術の新しい地平を開くこちらの研究に注目してみてください。
出典 : 数十億パラメータの巨大AI、“たった1つのパラメータ”を削除するだけで完全崩壊。Appleなどが研究報告（生成AIクローズアップ） https://www.techno-edge.net/article/2024/12/02/3882.html