美国联邦交易委员会(FTC)周四(9/11)宣布,已要求7家AI聊天机器人供应商提供资讯,说明它们如何衡量、测试与监控这类技术对儿童及青少年的潜在负面影响。被点名的企业包括Alphabet、Character、Instagram、Meta、OpenAI、Snap与XAI。
FTC解释,AI聊天机器人可能通过生成式AI技术,模拟与人类相似的沟通方式与人际互动,可有效模仿人类特质、情感及意图,通常被设计为像朋友或知己般地与用户互动,可能导致部分用户,特别是儿童与青少年的信任并与之创建关系。
因此,此次的调查是为了了解上述公司是否采取了任何措施,在聊天机器人担任“陪伴者”角色时评估其安全性,限制儿童与青少年的使用并降低其潜在负面影响,以及是否向用户及其家长告知相关风险。
外界相信,FTC之所以展开这类的调查,是因为近来聊天机器人被怀疑与许多自杀事件有关,例如加州一名16岁青少年的父母控告OpenAI,指责ChatGPT促成小孩自杀。还有一名14岁青少年与Character.AI的聊天机器人讨论自杀念头,最后也成功自杀了;另一名有认知障碍的男子迷上了Meta所打造的聊天机器人暨虚拟化身,还要出门与之约会,结果出门后不小心跌倒受伤,数天后死亡。
上述意外及涉及聊天机器人的争议令FTC采取行动,要求7家企业回答各项资讯,包括如何将与用户的互动变现;如何处理用户的输入并生成回应;如何开发及审核角色;如何在部署前后衡量、测试与监控负面影响;如何缓解负面影响,特别是儿童。
以及如何通过披露、广告与其他方式向用户及家长告知其功能、目标受众、潜在负面影响、数据搜集与处理;如何监控并执行服务条款及公司规范,像是社交媒体守则及年龄限制;如何使用或分享通过与聊天机器人对话所获得的个人信息。
FTC委员Mark Meador认为,生成式AI同时带来了潜力与风险,后者包括误导性/不准确回应、滥用个人信息、内容偏见,以及对儿童及青少年的伤害等,例如那些可模仿人类互动能力的AI聊天机器人,试图与用户创建情感连接,虽然可带来好处,但也可能导向依赖、错误信任,以及造成身心健康问题。
Meador指出,儿童与青少年等年轻用户特别容易受到影响,他们可能无法分辨AI机器人的限制,也缺乏应对错误资讯或情绪操弄的能力。这次的调查与研究将有助于FTC未来在保护儿童及青少年,以及确保AI产业负责任创新之间取得平衡。