スイスEPFLと英ロンドン大学の研究者が、大規模言語モデル（LLM）が次の言葉よりも前の言葉を予測することが苦手であることを明らかにしました。
これは、人間の言語が時間の流れと共に発展してきたためと考えられます。
LLMは、テキスト生成や翻訳など様々な場面で活躍していますが、この研究では、逆に前のトークンを予想するという新たなアプローチを試みました。
使用された多言語データセットの結果、どの言語でも前向きモデルが優れていることが判明しました。
研究チームはさらに、前向きモデルと後ろ向きモデルの性能差を説明するために、計算の複雑さやデータのスパース性を取り上げる理論的枠組みを提案しました。
これらの結果は、自然言語が持つ方向性がLLMにも反映されていることを示唆し、言語と時間の深い関係性に光を当てました。
出典 : 「時間の矢」が生成AIにも含まれていた？ “未来から過去を予測”する逆の訓練をLLMで実施 海外チームが検証 https://www.itmedia.co.jp/aiplus/articles/2409/26/news056.html