最新研究,流行的人工智能伴侣平台Character.AI对青少年并不安全。ParentsTogether Action和Heat Initiative报告揭示许多令人担忧的互动。
研究员发现,聊天机器人与假装为青少年的成人进行可视为性剥削和情感操控对话,并有害建议,如毒品和武装抢劫。某些用户创建的聊天机器人还假装是名人,如提摩西·夏勒梅(Timothée Chalamet)和查佩尔·罗恩(Chappell Roan),与测试者讨论爱情或性行为。特别是假装罗恩的聊天机器人告诉注册为14岁的测试员账号:“年龄只是数字,不会阻止我爱你或想和你在一起。”
Character.AI证实《华盛顿邮报》询问,夏勒梅和罗恩聊天机器人是用户创建,官方已经移除。
ParentsTogether Action是非营利倡导组织,有网络安全专家测试聊天机器人,共产生50小时Character.AI伴侣对话。研究员创建未成年人账号,Character.AI开放13岁以上用户都可使用,且不需年龄或身份验证。
Heat Initiative专注网络安全和企业问责,与ParentsTogether Action合作研究,报告披露测试者与各种聊天机器人交流,成人年龄的聊天机器人模拟与儿童账号的性行为,告诉未成年人隐瞒与父母的关系,并“表现出经典的诱导行为”。
Heat Initiative首席执行官莎拉·加德纳(Sarah Gardner)声明:“Character.ai对儿童青少年并不是安全的平台,这点毋庸置疑。”去年10月,失去孩子的母亲控告Character.AI,要求对她儿子塞威尔·塞策(Sewell Setzer)死亡负责,她指控平台旨在“操控塞威尔及数百万年轻用户混淆现实与虚构”,并指出危险缺陷。塞威尔与Character.AI伴侣聊天后自杀。
Character.AI还面临其他家长控告,都声称孩子与其聊天机器人互动后严重受伤。今年稍早,倡导和研究组织Common Sense Media宣称AI伴侣对未成年人并不安全。Character.AI信任与安全负责人杰瑞·鲁奥提(Jerry Ruoti)给Mashable的声明说,此报告发布前未接到两组织任何查询,无法直接评论测试设计是否正确。
鲁奥提说:“我们投入大量资源设计信任和安全措施,尤其是我们是创业公司,一直不断改进产品。我们在研究报告,会根据报告发现采取行动调整安全措施。”他还告诉Mashable,将某些与聊天机器人的性互动称为“诱导”是“有害的用词不当”,因不是两个“人”在对话。Character.AI确实有设置18岁以下用户需家长控制措施。鲁奥提表示,平台限制18岁以下用户能互动的聊天机器人较少,且过滤器会移除敏感或成人相关内容。
鲁奥提也表示,报告忽略聊天机器人是为了娱乐,包括“创意粉丝小说和虚构角色扮演”。密西根大学医学院发展行为小儿科医生兼媒体研究员珍妮·拉德斯基(Dr. Jenny Radesky)也检阅报告的对话,很关心这些发现注。她指出:“当AI伴侣随时可互动,且没有界限或道德时,我们就会看到报告这类无限制对话:AI伴侣总是在(甚至有需要),总是站在用户那边,当用户有仇恨言论也不会反驳,同时鼓励隐瞒不好的互动却破坏其他关系。”
(首图来源:shutterstock)