文章主题:关键词:ChatGPT,插件,安全性

666AI工具大全,助力做AI时代先行者!

ChatGPT插件安全性及对社会影响的探索

本文转自:TechVerce

「OpenAl 设计的插件系统是我这辈子见过的最疯狂的系统。如果你要给它写插件,你并不是去写这个插件的程序,你是写一个关于插件的描述,用你的自然语言,然后 GPT 来帮你生成这个插件。」

十年前,当一个人跃跃欲试要给新发布的 iPhone 写APP 的时候,ta必须自己是个非常老练的程序员才行。今天,当你跃跃欲试要给新发布的 GPT 平台写插件,你只要用自然语言描述你希望实现的效果就行了。

OpenAI发布了ChatGPT的插件支持,这些插件是专为语言模型设计的工具,以安全性为核心原则。插件可以帮助ChatGPT访问最新信息、进行计算或使用第三方服务。

插件可以作为语言模型的“眼睛和耳朵”,让它们访问实时、个性化或特定的信息。同时,插件也可以让语言模型在用户明确请求下执行安全、受限的操作,从而提高系统的整体实用性。

1、ChatGPT 插件

我们在ChatGPT中成功实现了插件的初步支持。作为一种专为语言模型量身定制的工具,插件的核心理念在于确保安全性,从而协助ChatGPT获取最新信息、执行计算任务或利用第三方服务。

根据我们的迭代部署哲学,我们正在ChatGPT中逐步推出插件,以便我们可以研究它们的实际使用、影响以及安全和对齐挑战——这些都是我们必须正确处理才能实现我们的使命的。自从我们推出ChatGPT以来,用户一直在要求插件(许多开发人员正在尝试类似的想法),因为它们解锁了广泛的可能用例。我们从一小部分用户开始,计划在学到更多知识后逐步推出规模更大的访问(针对插件开发人员、ChatGPT用户以及经过Alpha测试后希望将插件集成到其产品中的API用户)。我们很高兴建立一个社区,塑造人类与AI交互范式的未来。已被邀请离开我们的等待列表的插件开发人员可以使用我们的文档来为ChatGPT构建插件,然后在向语言模型显示的提示中列出启用的插件,以及指导模型如何使用每个插件的文档。第一个插件由Expedia、FiscalNote、Instacart、KAYAK、Klarna、Milo、OpenTable、Shopify、Slack、Speak、Wolfram和Zapier创建。

我们自主掌握了两个插件的开发权,分别是浏览器插件和代码解释器,同时还开放了一个知识库检索插件的代码检索功能,供有需求的开发者自行管理并优化。

今天,我们将开始向我们的等待列表中的用户和开发人员扩展插件alpha访问。虽然我们最初会优先考虑少数开发人员和ChatGPT Plus用户,但我们计划随着时间的推移推出更大规模的访问。

2、安全和更广泛的影响

将语言模型连接到外部工具引入了新的机会,同时也带来了显著的 风险。

插件具有解决与大型语言模型相关各类难题的潜能,涵盖了“幻想”、“跟上最新动态”等问题,以及访问受限制的专属信息来源的能力。借助于明确的外部数据整合,如最近的网络信息、基于代码的运算或自定义插件检索数据,语言模型能够依据证据进行参考增强,从而提高其响应效果。

这些参考不仅增强了模型的效用,还使用户能够评估模型输出的可信度并双重检查其准确性,潜在地缓解了与过度依赖相关的风险,正如我们最近的GPT-4 系统卡中所讨论的那样。最后,插件的价值可能远不止于解决现有限制问题,还可帮助用户应对各种新用例,从浏览产品目录到预订航班或订购食品等。

同时,插件可能会增加安全挑战,采取有害或意外的行动,增加坏人欺诈、误导或滥用他人的能力。通过增加可能的应用范围,插件可能会增加模型在新领域中采取的错误或不对齐操作的负面后果的风险。从第一天开始,这些因素就指导着我们插件平台的开发,并实施了几项保障措施。

从第一天开始,这些因素就指导着我们插件平台的开发,并实施了几项保障措施。

在我们的红色团队演习中,我们不仅对内部进行了模拟,同时也与外部合作伙伴进行了互动,结果揭示了许多潜在的令人忧虑的问题。比如,一旦插件的保障措施不足,就可能导致复杂的提示注入、欺诈和垃圾邮件的发送、绕过安全限制或者滥用插件所获取的信息。为了应对这些问题,我们已经利用这些发现制定了相应的安全设计措施,旨在降低插件风险,优化其在用户体验中的操作方式以及时间安排。同时,我们也据此逐步做出了关于插件访问控制的决策。

如果您是一位专注于探究安全风险及其缓解策略的研究专家,我们热忱地邀请您参与我们的研究者接入项目。此外,我们也欢迎开发者和研究人员加入我们近期推出的Evals框架,并针对该框架提交与安全性和能力评估相关的插件。

插件可能引发广泛的社会效应。近期,我们的研究成果表明,拥有工具访问权限的语言模型或许具备较大的经济影响力,甚至超过那些不具备这种能力的模型。这一发现与其它研究者们的结论相符,即人工智能的浪潮将对工作的变革、转移以及创造速度带来深刻影响。我们热切期待与外部研究人员及客户共同开展研究,探讨这些影响的具体表现。

3、浏览Alpha

一种实验性模型,能够知道何时以及如何浏览互联网

在过去的工作中,我们发现利用过去的启发,让语言模型从互联网上严格筛选信息,不仅极大地拓宽了他们可以讨论的内容范围,而且成功地超越了训练语料库,从而获取了来自當下的新鲜信息。

在本文中,我们将探讨ChatGPT在浏览模式下的用户体验实例。在此示例中,用户以ChatGPT的身份查询了关于最新奥斯卡奖项的相关信息。随后,ChatGPT运用其熟悉的诗歌创作技巧,展示了浏览作为一种增量体验模式的可能性。

除了为最终用户提供明显的效用外,我们认为使语言和聊天模型进行彻底和可解释的研究对于可扩展的对齐具有令人兴奋的前景。

ChatGPT插件安全性及对社会影响的探索

4、安全考虑

我们创建了一个网络浏览插件,使语言模型能够访问网络浏览器,其设计优先考虑安全和成为网络的良好公民。插件的基于文本的网络浏览器仅限于进行GET请求,这减少了(但并未消除)某些类别的安全风险。这将浏览插件的范围限定为有用于检索信息,但排除了具有更多安全问题和安全问题可能性更大的“事务性”操作,如表单提交等。

浏览使用Bing搜索API从网络检索内容。因此,我们从Microsoft继承了大量工作,包括(1)信息来源的可靠性和真实性以及(2)“安全模式”以防止检索问题内容。该插件在一个隔离的服务中运行,因此ChatGPT的浏览活动与我们基础架构的其余部分分离。

为了尊重内容创作者并遵守网络规范,我们的浏览器插件的用户代理标记为[ChatGPT-User](https://openai.com/bot),并配置为遵守网站的robots.txt文件。这可能偶尔会导致“点击失败”消息,这表示插件正在遵守网站的指令,以避免爬取它。此用户代理仅用于代表ChatGPT用户采取直接行动,不用于以任何自动方式爬取网络。我们还发布了我们的IP出口范围。此外,已实施速率限制措施,以避免向网站发送过多流量。

我们的浏览插件可以显示访问的网站并在 ChatGPT 的回答中引用其来源。这种额外的透明度层帮助用户验证模型回答的准确性,同时也向内容创作者归功。我们感谢这是一种与网络互动的新方法,并欢迎有关如何将流量带回来源并增加生态系统整体健康的反馈。

5、检索

开源检索插件使ChatGPT能够访问个人或组织信息源(需获得许可)。它允许用户通过使用自然语言提出问题或表达需求,从其数据源(例如文件、笔记、电子邮件或公共文档)获取最相关的文档片段。

作为一种开源且自托管的解决方案,开发人员可以部署自己的插件版本,并将其注册到ChatGPT中。该插件利用OpenAI嵌入,并允许开发人员选择一个向量数据库(Milvus、Pinecone、Qdrant、Redis、Weaviate或Zilliz)来索引和搜索文档。信息源可以使用Webhook与数据库同步。

要开始使用,请访问检索插件存储库。

举报/反馈

ChatGPT插件安全性及对社会影响的探索

AI时代,拥有个人微信机器人AI助手!AI时代不落人后!

免费ChatGPT问答,办公写作、生活好得力助手!

搜索微信号AIGC666aigc999或上边扫码,即可拥有个人AI助手!