由于生成式AI出现突破性发展,许多企业都导入这项技术产生许多新产品或服务,但基于大数据的训练过程很可能遭有心人以假资讯污染,一美国税务软件公司参考社交媒体网站方式,以人工审查监控。

目前大多社交媒体网站,包括X、Instagram、Facebook和TikTok等,皆有专责团队负责审查网站上用户贴文或广告是否有违反使用规范,而这种做法对于目前越来越热门的生成式AI产品,也成为企业用来监管AI不会产出错误或违法的内容。

由于生成式AI在训练过程需要采用大量的网络内容,有心人很容易训练期间塞入大量误导性或错误消息,就有很高机率让AI产出有害内容,为了降低AI产品出错机率,采用人工审查也成为现阶段比较有效的应对方式。

以税务计算软件著名的美国企业Intuit为例,为旗下主力税额计算软件TurboTax推出生成式AI小助手Intuit Assist,可在用户通过TurboTax规划和计算个人或企业年度缴税计划期间提供各种财务规划建议。

虽然Intuit Assist目前仅为试用阶段,仅开放给部分用户,但这项基于大量语言模型数据训练而来的生成式AI产品,若产出错误或有害的建议,让用户因此做出违法或是危害用户利益的决定,对企业会有严重影响。

因此Intuit首席安全官泰森(Atticus Tysen)表示,将成立以八名全职人员组成的监督小组,随时进入Intuit Assist的语言模型检查,降低模型出现错误或有害内容的机率。

目前Intuit Assit程序已有内置检测功能,若语言模型出现可能令人反感的内容,或发现有心人进行指令注入攻击(Prompt Injection Attack)行为,就会标示出来并通知监督小组,再以人力审查或处置。

除了Intuit,Open AI和母公司微软推出Azure AI产品,也是采人工审查,避免语言模型出现有害或错误内容,毕竟对生成式AI产品来说,若企业无法有效检测问题,商誉、法律和营收冲击都无法承受。

(首图来源:Unsplash)