先日のインタビューで、エリック・シュミット元Google CEOが、大規模言語モデル（LLM）の文脈ウィンドウは短期記憶として使用できるが、問題があることを指摘しました。長いテキストを文脈ウィンドウに読み込むと、AIはその中間を「忘れる」のです。シュミットによると、これは人間の脳も同じ挙動をするため、AIと人間が似ていると言えるそうです。
しかし、これは誤解だという指摘があります。AIが中間部を忘れるのは、数学的（幾何学的）な不一致により、長い問い合わせ点列に基づいて短い回答を構築できないためです。このため、LLMは短い質問に対してより正確に答えることができます。
一方、人間の脳は、19世紀から20世紀初頭にかけて研究されたテキストの始まりと終わりの良好な記憶は一つの現象と考えられていましたが、実際には、始まりの「プライマシー効果」と終わりの「レーセンシー効果」という、異なる原因による二つの独立した効果です。AIと人間の脳のプロセスが一致していると誤解される例を示しています。
出典 : The context window problem or why LLM forgets the middle of a long file – TechTalks https://bdtechtalks.com/2025/02/05/the-context-window-problem-or-why-llm-forgets-the-middle-of-a-long-file/
