Cell Press期刊《Patterns》上周刊登一份研究报告,指出大型语言模型(LLM)已被广泛应用于正式书面沟通,包括企业新闻稿、消费者投诉、联合国新闻稿,以及职缺公告中。
来自斯坦福大学的研究人员分析了68.7万笔的消费者投诉、53.7万则的企业新闻稿,3.04亿个职缺,以及1.6万则的联合国新闻稿,发现有24%的企业新闻稿内容、18%的消费者投诉内容、14%联合国新闻稿内容,以及接近10%的职缺内容呈现出由LLM生成或大幅改写的特征。其中,研究中所分析的企业新闻稿主要来自于Newswire、PRWeb及PRNewswire等企业新闻稿的知名发布平台。
该研究显示出LLM已渗透至社会各层面的书面正式沟通,成为人们日常撰写的重要辅助工具,特别是在教育程度较低的地区,使用AI撰写投诉的比例达到19.9%,明显高于教育程度较高地区之17.4%。在发布职缺部分,小型或创业公司企业更倾向以LLM撰写,有10%-15%的内容呈现由AI生成或改写的特征。
该团队采用一套名为分布式LLM量化框架(Distributional LLM Quantification Framework)的统计方法,从整体语料的语言特征分布来估算某段期间中有多少文本具备LLM特征,惟仅聚焦于英文内容。因此,上述数据反映的是整体文本中具AI特征的比例,而不代表整篇文章是由AI撰写,也无法代表其他语言。
研究人员也认为,随着生成式AI技术不断精进,文风越来越像真正的人类,未来要精准识别AI的参与程度将更具挑战。