マサチューセッツ工科大学の最新研究によると、今日の大規模言語モデル（LLM）は、実際の応用でよく見られる様々な場面での干渉に非常に弱いことがわかりました。たとえば、無関係な文脈や誤った情報が含まれると、モデルの性能が顕著に低下します。これは、大きなモデルでも例外ではなく、実際の研究では最大のモデルが最悪の減退を示しました。
モデルが関連のない情報を区別できないため、プロンプト設計においては、重要な情報だけを明確にし、余計な詳細は除外するべきです。これは、ロジックを模倣しているにすぎないという認識を新たにしました。実際の複雑なデータや混乱を引き起こす可能性のある文脈に対応するためのトレーニング方法やアーキテクチャの開発が求められています。
出典 : Irrelevant input causes LLM failures — what it means for writing effective prompts https://the-decoder.com/irrelevant-input-causes-llm-failures-what-it-means-for-writing-effective-prompts/
