MITの研究チームは、大規模な言語モデル（LLM）が、実際の経験がなくても複雑な概念を理解できることを発見しました。たとえば、「雨に濡れたキャンプ場の匂い」を説明することはできますが、匂いを嗅ぐことはできません。これは、LLMがその巨大な訓練データからテキストを模倣しているだけでなく、ある種の「理解」を発達させていることを示唆しています。
MITの研究者たちは、LLMが新しい解決策を生成する際の「思考プロセス」を調べるために、「プロービング」と呼ばれる機械学習テクニックを使用しました。100万以上のパズルを解決する訓練を経て、LLMは訓練中に決して触れられることのなかったシミュレーションの潜在的な現実を独自に概念化しました。この発見は、言語の意味を学ぶために必要な情報の種類について私たちの直感に疑問を投げかけます。
この実験は、言語モデルが言語のより深い理解を発達させる可能性があることをさらに支持していますが、その実際の「理解」については今後の疑問です。この研究は一部の制限を認めつつも、将来的に言語モデルの訓練方法を改善するための知見を構築することができると考えています。
出典 : LLMs develop their own understanding of reality as their language abilities improve https://news.mit.edu/2024/llms-develop-own-understanding-of-reality-as-language-abilities-improve-0814