新しい研究により、大規模な言語モデル（LLMs）が単語を生成する際、固定された文法規則ではなく、人間が未知の言葉を処理する際に使用する類似の方法、つまり「類推」を使っていることが示されました。研究者たちは、オックスフォード大学とAI2の共同研究を通じ、GPT-JのようなLLMsが新たな語形を「見たことのある単語に似ている」という理由で選択することを発見しました。
独自に作られた形容詞を名詞化する実験では、LLMsは慣れ親しんだ単語の組み合わせに基づいて「-ness」や「-ity」を選択しましたが、これは人間が新しい言葉に遭遇したときの行動と酷似しています。
しかし、LLMsは人間のように「精神的な辞書」を作らず、訓練データ内の各単語のインスタンスを個別に扱うため、膨大なデータが必要とされます。この研究は、今後のAIの発展において、より堅牢で効率的、そして説明可能な技術を支える教訓を提供するものです。
出典 : AI LLMs Learn Like Us, But Without Abstract Thought https://neurosciencenews.com/ai-llm-learning-abstract-thought-28897/
