文章主题:Science, ChatGPT, 人工智能, 写作效率

666AI工具大全,助力做AI时代先行者!

原标题:Science:ChatGPT让写作的平均花费时长减少了40%

生成式人工智能(AI)如ChatGPT会带来哪些可能性?答案取决于一系列研究问题 (RQ):

RQ1:使用生成式AI如何影响工作者在现有工作中的生产力?工作者会选择使用这些工具吗?在使用这些工具的条件下,工作者如何与AI互动,AI如何影响生产力? RQ2:这些AI工具对工作能力强和能力弱的工作者,影响是否不同? RQ3:工作者对这些AI技术的主观反应如何?

2023年7月13日,《Science》发表了一项研究,招募已大学毕业的专业人士完成激励性写作任务,以回答上述第一个问题。结果显示,ChatGPT显著提高了生产力:让写作的平均花费时长减少了40%,产出质量提高了18%

《ChatGPT:AI写作的力量与可能性》链接:https://www.science.org/doi/10.1126/science.adh2586#supplementary-materials

研究方法

这是一项预先注册的在线实验,利用在线调查平台Prolific开展。研究者在Prolific上招募了453名大学毕业的专业写作人员,并分配每人完成两项激励性写作任务。该实验于2023年1月27日至2月21日每天上午5点到中午12点在美国东部进行。参与者包括市场营销人员、撰写提案专业人员,咨询顾问、数据分析师、人力资源专业人员、管理者。

研究将参与者随机分为两组,50%为ChatGPT辅助组(GPT-3.5),另外50%为不使用ChatGPT的对照组。ChatGPT辅助组会在第一项和第二项任务间注册ChatGPT并接受使用指导。如果发现ChatGPT有用,则在第二项写作任务中使用。对照组被要求注册LaTeX编辑器Overleaf,以平衡两组间的注册时间和花费的精力。对照组不需要在第二项任务中使用Overleaf。

除了对产出质量进行评估,研究者还收集了参与者执行任务所花费的时间,包括自我报告和客观测量的时间(客观测量由任务过程中每分钟拍摄的快照测得)。

研究结果

ChatGPT的使用情况

在参与研究前,70%的参与者听说过ChatGPT,32%的参与者曾使用过。

在ChatGPT辅助组中,92%的参与者成功注册了ChatGPT,80%的参与者选择在第二项任务中继续使用。用户对ChatGPT的有用性评分为4.4分(满分为5分)

ChatGPT对产出效率的影响

研究者首先用两个指标来评估产出效率 :任务花费时间和评估者评级。与对照组相比,ChatGPT辅助组完成任务时间比对照组少11分钟,相差0.75个标准差(SDs)。与对照组相比,ChatGPT辅助组的平均评级比对照组增加了0.45个SDs(P<0.001)。ChatGPT辅助组在整体评级和单项评级(如写作质量,内容质量和原创性)方面都有类似的提高。

《ChatGPT:AI写作的力量与可能性》图. ChatGPT对任务完成时间和评估者评级的影响

ChatGPT辅助组中第一项任务评级较低的参与者,第二项任务的评级相较于第一项任务增加了1到2个等级,而完成任务所用时间减少了10分钟。第一项任务评级较高的参与者,在第二项任务中评级不变,而花费时间也减少了约10分钟。

《ChatGPT:AI写作的力量与可能性》图. 使用ChatGPT后的影响

人机交互

上述生产力的结果是基于哪些类型的人机交互?

他们的观点是,ChatGPT 在写作方面的表现相当出色,因此可以将写作任务直接交给 ChatGPT,然后迅速获取 ChatGPT 的成果,这样可以有效地缩短所需时间。

在使用ChatGPT时,参与者将其视为一种实用且尚待改进的工具。例如,他们可能会利用ChatGPT生成初稿,然后花费时间对其进行精细编辑与优化,或者利用它进行头脑风暴和文本编辑。

研究支持了上述第一种。几乎每个使用ChatGPT辅助工具的人,仅轻微修改或未修改ChatGPT的输出内容就提交给了工作人员。ChatGPT辅助组中,33%的参与者报告没有编辑过ChatPGT的初始输出,53%的参与者报告在提交前进行了编辑。然而,这些编辑花费的平均时间也只有3.3分钟,定性分析表明都是浅显的编辑,例如只改变了占位符或重新排列语句。

主观结果:工作满意度、自我效能感和对自动化的信心

研究通过一系列问题来评估参与者对ChatGPT的主观反应。结果显示,使用ChatGPT后参与者对任务的享受程度提升了0.47 SDsP<0.001),关于AI对其职业影响的担忧(P<0.01)和兴奋感(P<0.001)都有所增加。这些影响在2周和2个月的随访中逐渐消失,可以归结为受访者首次使用技术的短期现象。

两周和两月随访:工作中是否会继续使用ChatGPT

为了进一步考察ChatGPT在工作中的应用价值,参与者在完成初始调查后2周和2个月再次接受了调查,应答率分别为92%和83%。在2周的随访中,ChatGPT辅助组中有34%的人在近一周的工作中使用了ChatGPT,对照组中该比例为18%(P<0.001)。这种差距也持续到2个月的随访中,ChatGPT辅助组和对照组的ChatGPT使用率分别为:42%和27%(P<0.01)。

总结

本研究揭示了专业人士在执行写作任务时,借助ChatGPT等生成式写作工具,其工作效率可得到显著提升。这些工具不仅有助于提高特定群体的产出质量,同时也能有效减轻所有工作者的任务负担。

参考文献:Science. 2023;381(6654):187-192.返回搜狐,查看更多

责任编辑:

Science, ChatGPT, 人工智能, 写作效率

《ChatGPT:AI写作的力量与可能性》

AI时代,拥有个人微信机器人AI助手!AI时代不落人后!

免费ChatGPT问答,办公、写作、生活好得力助手!

搜索微信号AIGC666aigc999或上边扫码,即可拥有个人AI助手!