文章概要:

1. Jais是面向阿拉伯语的开源大模型,参数量达130亿

2. 在阿拉伯语任务上,Jais性能可匹敌ChatGPT

3. Jais在Cerebras专用芯片上训练,具有技术创新

站长之家(ChinaZ.com)9月4日 消息:阿拉伯联合酋长国的研究人员利用Cerebras公司的专用AI芯片,开发出了两个开源的大规模语言模型Jais和Jais Chat。这是业界首个面向阿拉伯语的、参数规模超过100亿的开源语言模型。

Jais拥有130亿个参数,使用了3950亿个训练样本,其中1160亿个是阿拉伯语样本。主要使用阿拉伯语网站、书籍、新闻和维基百科作为训练数据,所有数据在训练前进行过滤。

阿拉伯语版ChatGPT“Jais  Chat”问世 性能堪比英语商业模型

打开凤凰新闻,查看更多高清图片

Jais Chat则通过额外的对话训练进行了优化。这两个模型在一系列阿拉伯语任务上的测试精度,明显超过了现有的阿拉伯语开源模型,在某些写作任务上甚至可匹敌商业化的英语模型ChatGPT。

该团队表示,在基准测试中,Jais 和 Jais-chat 的准确度比现有的免费阿拉伯语模型高出11到15个点,并且在英语方面与 Meta 的 LLaMa2具有竞争力。OpenAI 的ChatGPT或 Anthropic 的Claude等商业模型在基准测试中平均仍然领先,但规模也明显更大。

另外,Jais的训练没有使用Nvidia的GPU,而是在Cerebras专用的Wafer级芯片上完成。这种芯片专为AI工作负载而设计,使Jais的训练实现了技术创新。Jais的开源发布有助于推动阿拉伯语自然语言处理的进步。