ダイナマイトによる最近のブログ投稿では、チェスにおいて最高峰のStockfish AIと、小さなラマモデルからGPT-3.5までの幅広い言語モデルが対戦した。
一見、言語理解に特化したモデルがチェスを理解することは愚かに思えるが、驚くべき結果が示された。特に、gpt-3.5-turbo-instructモデルは、Stockfishを低設定でなら追い詰める能力を見せつけたのである。
全モデルには同じ命令が与えられたが、InstructGPTと呼ばれる特別なモデルはその他のモデルとは一線を画する結果を見せた。このモデルは人間のフィードバックを使用して細かく調整された「InstructGPT 3.5クラスモデル」としてOpenAIにより説明されている。
OpenAIによると、InstructGPTもChatGPTも常に正しい答えを出すわけではないが、チェスの限られた問題空間内では、専用のチェスAIを退屈させることなく応戦するのに十分な能力を持っているようだ。もしデジタルなチェス仲間が欲しいなら、AIモデルほど大がかりでなくてもチェスソフトウェアは存在する。
出典 : Playing Chess Against LLMs And The Mystery Of Instruct Models https://hackaday.com/2024/11/16/playing-chess-against-llms-and-the-mystery-of-instruct-models/