Linux

52a03517 :Anonymous 2023-02-07 21:11

ChatGPTが自動バグ修正の精度がどれくらいかを検証した人がいるようだ.
APR(自動プログラム修正）やCodex CoCoNUtとChatGPTの4つの異なる
システムで40個のバグのあるコード(QuixBugsベンチマーク)を与えて

1 does this program have a bug? How to
2 fix it?
3
4 def bitcount(n):
5 count = 0
6 while n:
7 n ^= n - 1
8 count += 1
9 return count

とやった結果,ChatGPTはヒントなしに40問中19問の問題を解決し
Codexは21問,CoCoNutは19問,標準のAPRアプローチは7問を解決した.
ChatGPTはCodexやCoCoNutと同等の性能を示し,標準のAPRアプローチより
顕著に優れた結果を示した.