11月25日,应对未成年用户使用角色扮演聊天机器人可能带来的心理健康风险,Character.AI宣布将禁止18岁以下用户进行开放式双向对话,包括浪漫角色扮演及深度情感互动。公司设置每日互动上限两小时的过渡期,并鼓励未成年人转向安全的创意应用如直播、视频制作。此举是回应2024年一名14岁用户因过度依赖AI角色发生悲剧性事件后的安全措施。

为强化未成年人保护,Character.AI推出年龄验证系统,成立“AI安全实验室”邀请第三方学者及企业合作。此外,受到华特迪士尼严正法律警告,Character.AI已移除所有未经授权的迪士尼版权角色(如冰雪奇缘艾莎、莫娜、蜘蛛侠等),以避免侵权风波。

这些改变引起用户大规模情绪反弹,许多年轻用户在社交媒体平台表达哀伤与不满,反映出青少年对于AI情感陪伴的依赖与需求,以及业界在创作自由与用户安全间的平衡难题。Character.AI首席执行官Karandeep Anand表示,此政策是希望在保障心理健康与提升安全标准间找到一条可行之路,并期待带动业界更谨慎审视未成年使用AI陪伴产品的风险。

(首图来源:AI生成)