AIが生成したコードに含まれる誤りを検出し、訓練を支援するために開発された「CriticGPT」は、日常のコードレビュー作業時間を60％削減する効果があることがわかりました。AIトレーナー達は異なるChatGPTの出力を比較し、高度なAIシステムの評価が可能になる一方で、AIがより完璧になるにつれてモデルの調整は困難になっています。
CriticGPTは、人工的なバグだけでなく、自然発生バグの検出にも成功し、人間のトレーナーに好まれています。特に、無関係な細かな問題よりも、重要なバグを見極める力が評価されています。今後は、AIシステムの進化に合わせ、さらに高度なツール開発にも力を入れていく予定です。
出典 : GPT-4の間違いをGPT-4に基づくAIモデル「CriticGPT」が発見!? https://and-engineer.com/articles/Zv3jZxEAACIAUcPX