従来のAI言語モデルでは、文章を左から右へと順番に生成する自己回帰的方法が主流でしたが、中国の人民大学MLグループが開発した「LLaDA（ラダ）」は、その枠を超える新技術を採用して注目を集めています。
ラダは複数の単語を同時に予測する「動的マスキング」を使用し、長く複雑な文でも効率的に作成できます。また、従来の自己回帰モデルと比べ、計算の負担や遅延の問題を解決し、逆方向の文章生成においても高いパフォーマンスを発揮します。
実際、8億パラメータのモデルテストでは、詩の次や前の行を完成させる任務でGPT-4と同等、またはそれ以上の成果を示しました。これにより、会話AI、コード生成、双方向推論タスクなどの分野で、効率と速さを向上させる新しい方向性が開かれるかもしれません。
さらなる開発の様子は、論文やプロジェクトページ、GitHubで確認できます。
出典 : How Diffusion-Based LLM AI Speeds Up Reasoning https://thenewstack.io/how-diffusion-based-llm-ai-speeds-up-reasoning/
