大規模な言語モデルを使用したAIが、シンプルな問題でさえ誤答する「ストロベリー問題」について、専門家が解説しました。
AIは文脈を把握して文章を予測することに秀でていますが、単語内の文字を数えるような問題では間違えることがあります。
たとえば「strawberry」の「r」の数を聞いたとき、3ではなく2と答えたりします。
この原因は、AIがテキストを数値表現に「トークン化」するため、単語単位ではなくトークン単位での処理に特化しているからです。
チンメイ・ジョグ氏は、この問題を回避するためにプログラミング言語を使う方法を提案しています。
AIの能力には限界があり、それを理解し責任を持った使い方をすることが大切であると議論しています。
出典 : GPT-4やClaudeなどの大規模言語モデルが抱える「ストロベリー問題」とは？ https://gigazine.net/news/20241019-strawberrry-problem/