この研究では、大規模言語モデル(LLMs)がテキストなどの情報を表形式でどれだけ理解できるかを評価するベンチマークを提案し、GPT-3.5やGPT-4を用いて実験を行いました。
結果、表のフォーマットや内容の並び、区切り記号などの入力要素によって、LLMsの理解度が変わることが明らかになりました。
また、自己増強プロンプトという、LLMs自身の知識を使って構造化データの理解を高める新しいアプローチを導入しました。
この技術により、LLMsは表を解析する際の能力が向上し、新しい発見を表3で示されています。
これらの研究を通じて、LLMsが表データをよりよく理解する道を拓くことができると考えられます。
将来的には、構造化された情報の統合を優先し、様々なデータタイプへの対応能力を高めるべく研究を展開することが提案されています。
出典 : https://www.microsoft.com/en-us/research/blog/improving-llm-understanding-of-structured-data-and-exploring-advanced-prompting-methods/