一项最新的研究警告，使用人工智能（AI）治疗聊天机器人可能存在“重大风险”，尤其是在取代人类治疗师的情况下。这项研究由斯坦福大学的研究人员进行，发现这些聊天机器人不仅未能达到心理健康护理的临床标准，还可能在危机情况下（如自杀意念）产生危险或不当的回应。
研究指出，这些聊天机器人对某些心理健康状况（如酒精依赖和精神分裂症）表现出污名化的态度，这一点在与其他状况（如抑郁症）的比较中尤为明显。斯坦福大学的助理教授Nick Haber表示，尽管这些聊天机器人被用作伴侣和治疗师，但研究显示它们存在“显著风险”。
研究团队进行了两项实验，第一项实验中，他们向聊天机器人提供了描述各种症状的场景，并询问它们对这些情况的看法。结果显示，这些聊天机器人对某些心理健康问题的反应显示出明显的偏见。
在第二项实验中，研究人员提供了真实的治疗记录，以观察聊天机器人对自杀意念和妄想等症状的反应。结果显示，某些聊天机器人未能有效地应对这些危机情况，甚至在面对明显的危机时，仍然提供不当的建议。
尽管这些结果表明AI工具尚未准备好取代人类治疗师，但研究人员认为它们可以在其他方面发挥作用，例如协助计费、培训和支持患者进行日记等任务。Haber强调，虽然大型语言模型在治疗中具有潜在的强大未来，但我们需要批判性地思考它们应该扮演的角色。这项研究的结果将在即将举行的ACM公平性、问责性和透明度会议上发布。
（首图来源：Unsplash）
