PKSHA Technologyが開発した新しい深層学習モデル「Retentive Network（RetNet）」は、日英の大規模言語モデルを可能にします。RetNetは従来の「Transformer」を超える性能を誇り、学習速度や長文処理能力が向上しています。
PKSHAの言語モデルは約70億のパラメーターを持ち、Microsoftが提供する「DeepSpeed」フレームワークやGPUサービスを活用しています。
特に、入力される文字が多くても処理速度がほとんど落ちない点が強みです。
初期の応用としては、AIを使ったコンタクトセンターやヘルプデスクでの利用が考えられており、今後さまざまな分野への展開が期待されます。
出典 : https://active.nikkeibp.co.jp/atcl/act/19/00012/041001203/?i_cid=nbpnxta_sied_newarticles