OpenAIのChatGPTは、様々なプログラム作成タスクにおいて広範な成功を収めていますが、新たな問題への対応には困難があります。IEEE Transactions on Software Engineering誌に掲載された研究論文によると、ChatGPTは2021年以前の既知の問題では高い成功率を見せるものの、
新しく出現した問題ではその性能が著しく下がる傾向が明らかになりました。ソフトウェアの脆弱性への対応や、間違いの修正能力の限界も指摘されています。
ただ、人間のコードよりも効率的な結果を出す場合もあるたというから驚きです。将来的には、開発者がChatGPTに関連知識を提供し、潜在的な脆弱性に注意を促すことで、より正確なコード生成に役立てられそうです。
出典 : https://gigazine.net/news/20240708-chatgpt-actually-good-writing-code/