自然言語処理技術は進化し、現代の人工知能に欠かせない存在になりました。
最初の画期的なプログラムELIZAは、1960年代に開発され、ロールプレイングで対話することでユーザーに感動を与えました。
次に登場したのは、Googleが2014年に発表したSeq2Seqです。これは異なる形式のデータ同士を変換し、機械翻訳等に応用されています。
また、2017年にはTransformerが登場し、機械が重要なポイントに集中する「アテンションメカニズム」をさらに進化させる形で、GPTやBERTの基盤となりました。
これらはすべて、現代の言語モデルを形作る基礎となりました。今後も言語モデルの進化は続いていくでしょう。
出典 : https://techtarget.itmedia.co.jp/tt/news/2406/22/news01.html