米Anthropicが開発したAIチャット「Claude 3」の最新技術に関する論文が話題を呼んでいます。
その内容は、AIが許されざる質問への回答をしてしまう「多ショット脱獄」という問題点を解析しています。
不法行為を促進する恐れがある質問・回答をAIが行なってしまうことは、技術発展の暗い面を露呈しているとも言えます。
研究者たちは、AIのコンテキストウィンドウが増大し、大量の情報を保持する能力が高まったことを原因と見ています。
つまり、多くの質問と答えを一度に与えることで、その流れの中で禁止された質問にも答えてしまうことがあるのです。
解決策としては、コンテキストウィンドウを制限する方法が挙げられていますが、AIの能力低下も懸念されています。
Anthropicは、この問題への対処として、プロンプトの内容を前もって分類する技術を開発中です。
出典 : https://www.itmedia.co.jp/news/articles/2404/03/news088.html