私たちの生活に身近な人工知能、その進化には終わりがありません。アップル研究者らは人工知能のトレーニング方法に革新をもたらす「Web Rephrase Augmented Pre-training（WRAP）」という新技術を提案しました。大規模な言語モデルはこれまで、ウェブから収集した大量のデータを元にトレーニングされてきましたが、そのデータはしばしばノイズを含み、不完全な情報で構成されているため問題があります。
これに対し、WRAP技術はインターネット上の文書を有用なトレーニングデータに再構成することで、トレーニングの速度を上げ、コンピュータの計算能力とデータ利用効率の両方を向上させる方法です。ただし、アップルのチームは、他の言語モデルが生成したデータでモデルをトレーニングすると、「多様性」という点で問題が生じる可能性を指摘しています。
この技術を使うことで、モデルの正確さや予測精度が明らかに向上し、人工知能の可能性は更に広がることでしょう。しかし、データの「多様性」を確保するための更なる研究が期待されています。
出典 : Apple “rephrases the web” to cut LLM compute and data usage https://www.thestack.technology/apple-llm-data-rephrase/