模型评估与威胁研究(METR)研究显示,尽管许多开发者认为人工智能(AI)编码工具加速软件开发,但其实这些工具却使经验丰富的开发者的生产力下降约19%。

研究2-6月进行,涉及16名大型开源项目的经验丰富开发者。研究者要求这些开发者列出246个需要解决的实际问题,并预测完成这些任务所需时间。问题是随机分给使用或不用AI工具两组。

结果显示,有用AI工具的开发者完成任务时,实际花耗时间比预估多19%。开发者以为用AI能提高24%效率,但却发现自己用AI后工作时间反增长。研究指出,开发者使用AI工具时,花更多时间提示AI、等待回应和检查AI输出,无法专心写程序。

研究还提到,AI工具可能导致开发者也出现“幻觉”,即错误相信AI有帮助加速工作完成。这与其他研究结果呼应,显示AI工具实际效益往往未达预期。其他研究也发现,AI某些状况并未提高生产力,甚至可能增加更多工作量。

尽管研究结果令人惊讶,但作者强调,也不意味AI工具常常无效。开发者对程序库的熟悉度及大小和成熟度都可能影响减速现象,在许多软件开发环境不适用。未来AI模型可能不同场景会表现更好。

(首图来源:AI)