OpenAIの研究者たちは、ChatGPTが生成したコードのミスを特定する新しいAIモデル「CriticGPT」を発表しました。
このモデルは、人間が望むようなAIシステムの振る舞い（「アライメント」と呼ばれます）を向上させることを目的としています。
「CriticGPT」は、GPT-4の技術を基にしており、コードの潜在的なエラーを指摘することで、人間が見落としやすい間違いを見つけやすくしています。
バグが意図的に挿入されたコードサンプルのデータセットを使用して訓練され、様々なコーディングエラーを認識し報告する能力を身に付けました。
OpenAIは、将来的にCriticGPTのようなモデルを、人間の評価者がAIのサポートを受けるRLHFラベリングパイプラインに統合する計画です。
しかし、CriticGPTは完璧ではなく、複雑なタスクやレスポンスにはまだ人間評価者が必要です。
出典 : https://arstechnica.com/information-technology/2024/06/openais-criticgpt-outperforms-humans-in-catching-ai-generated-code-bugs/