文章主题:开源, 大模型, 编程版本, Code Llama

666AI工具大全,助力做AI时代先行者!

在成功推出开源可商用的大模型Llama 2之后,Meta近日正式发布了该模型的编程版本Code Llama。这一举措极大地补足了之前在代码任务上表现不足的缺陷,从而在一定程度上缩小了与闭源GPT模型的差距。此外,Code Llama的测试效果甚至达到了GPT-4的水准,显示出其在性能上的显著提升。

在我国知名编程工具公司Code Llama发布其最新版本的两天前,OpenAI推出了GPT-3.5的微调功能,这一举措使得开发者和企业能够根据自身的需求来定制模型。作为目前为止,开源和闭源领域中最具综合实力和影响力的两个大型语言模型,这种竞争态势难免会让人产生一些你追我赶的感觉,甚至可能已经初现一丝紧张气氛?

编程作为大型语言模型的核心应用领域之一,同时也是当今众多科技产品和服务的 essential 支撑,对其技能的进一步提升和改进对于相关行业的发展具有重大的影响。

在此次推出的Code Llama中,我们基于Llama 2版本,通过特定代码数据集的深入训练,实现了更卓越的表现。此款工具兼容C、Java、Python、PHP、Typescript(即JavaScript)以及C++等多种编程语言。

Code Llama是一款极具实用性的工具,对于编程领域的专家和初学者来说,它的价值不可忽视。无论用户是采用何种编程语言——如专业编程语言或者我们日常生活中的自然语言(如普通话)——来阐述编程需求,Code Llama都能轻松理解,并精确地生成相应的代码,甚至提供相关解释。这一特性极大地降低了编程的门槛,提升了开发效率。

多版本模型覆盖更多特定场景需求

在Meta的论述中,我们发现了Code Llama的三种版本,分别对应7B、13B和34B这三个不同的参数设定。这些版本可以针对不同的服务需求和延迟标准进行优化选择。值得注意的是,每一个版本都经过了严谨的训练,以确保其能够充分利用500B tokens的代码相关数据,从而达到最优的效果。

CodeLlama:Meta’sLatestInnovationinAIProgrammingComponents

图源:Meta

在众多7B参数模型中,选择最小的一款,能够在单个GPU上高效運行,展现出卓越的响应速度,特别适合对低延迟有严格要求的场景。然而,如果相较于更大规模 model,它在代码生成或理解的精确性上稍逊一筹。最大规模的34B模型则具有无与伦比的编码辅助能力,能在复杂编程任务中游刃有余,但其对计算资源的需求较高,延迟也相对较大。在中等规模的一组13B参数模型中,性能和延迟的权衡达到了最佳平衡。此外,7B和13B模型经过中间填充(fill-in-the-middle,FIM)功能训练,能够理解如何在已有代码中插入新代码,这使得它们能直接应用于自动代码补全等任务,无需额外的设置或训练。

Code Llama是一款功能强大的文本处理工具,它能够一次性理解并记忆高达10万token的上下文信息。其卓越的文本处理能力对于处理大型代码库或者长篇文章都具有极大的帮助。举例来说,当程序员需要处理大量的代码时,可以 entire代码片段一次性地“喂”给Code Llama,它会自动理解和记忆相关的上下文信息,从而大大提高了工作效率。

值得一提的是,为了满足更多特定需求,Meta还进一步针对Python和自然语言指令微调了两个Code Llama的变体,分别称作Code Llama-Python和Code Llama-Instruct。

Python是目前最受欢迎的编程语言之一,在多个领域有着广泛应用,特别是在数据科学机器学习等领域。一个专门针对Python的模型能更准确地生成和理解Python代码,提高模型在处理相关任务时的性能。

另一个子版本Code Llama-Instruct更注重理解自然语言指令,非常适合那些不是很熟悉编程但又有这方面需求的用户。这个版本更容易理解用自然语言给出的指令,也就是更适合非专业用户,除了可以用于代码生成,也能胜任其他与代码相关的自然语言处理任务,如代码注释或文档生成。

通过提供更多垂直的子版本,Code Llama模型能够覆盖更广泛的用例和人群,满足不同场景下的特定需求,更容易获得竞争优势。

不过,Meta也有在博文中说明,由于Code Llama更专注于代码任务,因此并不适合作为聊天或写文章等日常语言任务的基础模型,它主要是为了帮助人们编程或处理代码问题而设计的。

性能和安全性双领先

而有关Code Llama的具体性能,在多个代码基准测试中,Code Llama达到了开源模型中最先进的性能。Code Llama所有模型在MultiPL-E上都优于其他公开可用的模型。34B参数版本在HumanEval上得分为53.7%,在MBPP上得分56.2%,这与ChatGPT(GPT 3.5)相当,优于其他所有开放解决方案。

CodeLlama:Meta’sLatestInnovationinAIProgrammingComponents

图源:相关论文截图

在安全性上,Meta采取了许多措施,为做评估,研究者特意用一些指令请求恶意代码,测试Code Llama是否会生成不好的输出。并对比ChatGPT做了同样的测试。结果显示,Code Llama更不容易生成有问题或者有害的代码。

Meta还发表了一篇详细介绍Code Llama的论文(题为Code Llama: Open Foundation Models for Code),披露了Code Llama开发的细节以及如何进行基准测试等信息。

值得一提的是,在Meta发布的论文中出现一个名为“Unnatural Code Llama”的模型(见上图),各项评分都非常之高,但该模型只在论文中一闪而过,Meta并未提及,或许后续Code Llama会迎来进一步增强。

开源, 大模型, 编程版本, Code Llama

CodeLlama:Meta’sLatestInnovationinAIProgrammingComponents

AI时代,拥有个人微信机器人AI助手!AI时代不落人后!

免费ChatGPT问答,办公写作、生活好得力助手!

搜索微信号AIGC666aigc999或上边扫码,即可拥有个人AI助手!