文章主题:萧箫, 凹非寺, 量子位, 公众号 QbitAI

666AI工具大全,助力做AI时代先行者!

萧箫 发自 凹非寺

量子位 | 公众号 QbitAI

ChatGPT写代码,已经是不少程序员的常规操作了。

《ChatGPT生成的代码:准确度真的如你所想吗?》

△“至少提速3~5倍”

但你有没有想过,ChatGPT生成的代码,有不少只是“看起来准确”而已?

来自伊利诺伊大学香槟分校和南京大学的一项最新研究表明:

ChatGPT和GPT-4生成代码的准确率,比之前评估的至少要降低13%

《ChatGPT生成的代码:准确度真的如你所想吗?》

许多网友都感到担忧,众多的机器学习论文中,有许多都是基于存在问题或者具有局限性的基准来评估模型的。这些论文为了短暂的 “SOTA”(最先进)地位而采用了这些有问题的基准,但一旦更换了测评方法,它们的真实面目就会暴露无遗。这种现象令人遗憾,也提醒我们在评估模型时,应该更加谨慎地选择基准,以确保其可靠性和准确性。

《ChatGPT生成的代码:准确度真的如你所想吗?》

还有网友表示,这也说明大模型生成的代码仍然需要人工监督,“AI写代码的黄金时间还没到呢”。

《ChatGPT生成的代码:准确度真的如你所想吗?》

所以,论文提出了一种怎样的新测评方法?

给AI代码考题加大难度

这个新方法名叫EvalPlus,是一个自动化代码评估框架。

具体来说,它会通过改进现有评估数据集的输入多样性问题描述准确性,来将这些评估基准变得更严格

一方面是输入多样性。EvalPlus会先根据标准答案,用ChatGPT生成一些种子输入样例(虽然要测ChatGPT的编程能力,但用它生成种子输入似乎也不矛盾doge)

随后,用EvalPlus改进这些种子输入,将它们改得更难、更复杂、更刁钻。

另一方面是问题描述准确性。EvalPlus会将代码需求描述改得更精确,在约束输入条件的同时,补充自然语言问题描述,以提高对模型输出的精确度要求。

《ChatGPT生成的代码:准确度真的如你所想吗?》

这里,论文选择了HUMANEVAL数据集作为示范。

HUMANEVAL是由OpenAI和Anthropic AI联手打造的一个代码数据集,其中包含了164个独具匠心的编程问题,涵盖了语言理解、算法、数学以及软件面试等多种类型的题目。这个数据集的制定旨在为编程人员提供一个全面而多样化的训练平台,帮助他们不断提升自己的技能水平。

EvalPlus能够优化数据集的输入类型与功能描述,从而使编程问题显得更加明确,并且测试输入更具挑战性或难度更高。

以其中的一道求并集编程题为例,要求AI写一段代码,找出两个数据列表中的共同元素,并给这些元素排序。

EvalPlus用它来测测ChatGPT写的代码准确度。

在初步测试阶段,我们采用了一些简单的输入来验证ChatGPT的准确性。令人惊喜的是,ChatGPT能够正确地回答这些问题。然而,当我们尝试使用不同的输入时,发现了ChatGPT版本代码中存在的一个漏洞,这使得我们对其性能产生了质疑。

《ChatGPT生成的代码:准确度真的如你所想吗?》

属实是给AI们加大了考题难度。

《ChatGPT生成的代码:准确度真的如你所想吗?》

为改善这一状况,EvalPlus基于此方法构建了一个升级版的HUMANEVAL数据集。这个版本在原有输入的基础上,针对其中部分存在问题的编程题目进行了相应的修正。

《ChatGPT生成的代码:准确度真的如你所想吗?》

那么,在这套“新考题”下,大语言模型们的准确率实际上要打几折?

LLM代码准确率平均降低15%

作者们测试了当前比较受欢迎的10种代码生成AI。

GPT-4、ChatGPT、CODEGEN、VICUNA、SANTACODER、INCODER、GPT-J、GPT-NEO、PolyCoder、StableLM-α。

从表格中来看,经过严格测试后,这群AI的生成准确率都有所下降:

《ChatGPT生成的代码:准确度真的如你所想吗?》

在本研究中,我们采用了名为“pass@k”的独特策略来衡量模型的准确性。在这个策略中,k代表了大模型生成的程序数量,而n则表示测试所使用的输入数量。此外,c代表了实际正确的输入数量。这种方法为我们提供了有关模型性能的重要信息,从而使我们能够更好地优化和改进我们的模型。

《ChatGPT生成的代码:准确度真的如你所想吗?》

根据新的这套评估标准,大模型们的准确率平均下降了15%,其中比较广泛研究的CODEGEN-16B更是下降了超过18%

至于ChatGPT和GPT-4生成代码的性能,也下降了至少13%。

然而,一些网友持有不同的观点,他们认为大模型生成的代码效果并不理想,已经成为了一种普遍现象。因此,我们需要深入探讨的问题是:“为何使用大模型编写的代码无法满足实际需求?”

《ChatGPT生成的代码:准确度真的如你所想吗?》

作者介绍

共同一作Jiawei Liu,伊利诺伊大学香槟分校二年级博士生,研究兴趣是编程系统和深度学习。

Chunqiu Steven Xia是一位来自伊利诺伊大学香槟分校的二年级博士生,他曾就读于多伦多大学,并主修机器学习和软件工程等领域的交叉学科。

王宇峣(Yuyao Wang),南京大学计算机科学大三学生,研究兴趣是计算机系统的准确性、可编程性和性能。

Lingming Zhang,伊利诺伊大学香槟分校副教授,研究方向是软件工程及其与机器学习、编程语言和形式化方法(Formal Methods)的协同作用。

论文地址:

https://arxiv.org/abs/2305.01210

代码地址:

https://github.com/evalplus/evalplus

— 完 —

量子位 QbitAI · 头条号签约

萧箫, 凹非寺, 量子位, 公众号 QbitAI

《ChatGPT生成的代码:准确度真的如你所想吗?》

AI时代,拥有个人微信机器人AI助手!AI时代不落人后!

免费ChatGPT问答,办公写作、生活好得力助手!

搜索微信号AIGC666aigc999或上边扫码,即可拥有个人AI助手!