Inception Labsが、業界に新たな波を巻き起こす最初の商用ディフュージョン大規模言語モデル(Mercury Coder)をリリースしました。従来の自己回帰型言語モデルと異なり、この新技術は画像生成ツールであるStable Diffusionのように、無秩序なテキストの雲から最終結果を導き出します。
ディフュージョン型言語モデルは、騒々しいデータから始まり、反復的な除去操作を行うことで望ましい出力を生成します。この技術は、特に、長いテキスト生成において速度と効率性を高める可能性があります。
一方で、この新モデルが研究者のアンドレイ・カーパシーらによって注目されている中、自己回帰型言語モデルはこれまで支配的でしたが、ディフュージョン型の可能性が徐々に明らかになってきています。
将来的には、この新しいアプローチが現在の自己回帰型メインの地位を揺るがす可能性があり、多くの専門家がその進展に期待しています。
出典 : What Is a Diffusion LLM and Why Does It Matter? | HackerNoon https://hackernoon.com/what-is-a-diffusion-llm-and-why-does-it-matter
