AI技術が進歩する中、gpt-3.5-turboが「20の質問」ゲームに挑戦しました。このゲームは単純なはい/いいえの質問によって、複雑なモデルを構築する力を試されます。
それぞれの質問が文章で、答えははい/いいえのブール値です。ゲームは簡単なものから複雑なものまで、様々な状況に応じて変化します。
AIが推測者として振る舞う際、無駄なターンを使うことがあるといった課題が明らかにされています。また、AIの応答は従来の固定テストに頼るのではなく、もっと動的かつ対話形式でなければならないと提言しています。
この技術の限界を探るために、AIがゲームを自分自身に対してプレイした結果を調べ、それをエヴァンが分析したブログが公開されています。
この実験は、精度の向上とAIの人間らしさを評価する新しいステップとなるでしょう。興味深い詳細については、エヴァンが運営するGitHubプロジェクトやブログを参照してください。
出典 : https://evanthebouncy.medium.com/llm-self-play-on-20-questions-dee7a8c63377