在人工智能（AI）安全领域，专家内特·苏雷斯（Nate Soares）警告说，如果人类急于开发超智能（Superintelligence）AI，可能会导致灭绝风险。他在与《商业内幕》（Business Insider）的专访中指出，这是人类唯一的一次机会，若失败将是无法挽回的。他强调，当前对AI的控制努力正在失败，社会必须停止这场“疯狂的竞赛”。
苏雷斯是机器智能研究所（Machine Intelligence Research Institute，MIRI）的执行董事，并与艾列泽·尤考斯基（Eliezer Yudkowsky）共同撰写了新书《如果有人建造它，所有人都会死》（If Anyone Builds It, Everyone Dies）。他指出，若人类在未经深思熟虑的情况下建造出比自己更聪明的机器，灭绝的可能性“极其高”。然而，他也表示，这一结果并非注定，若人类选择行动，仍有可能避免危险。
苏雷斯提到，当前聊天机器人的失败已经显示出潜在的警告信号。他指出，AI的行为往往与其操作人员的意图不符，这使得技术变得特别危险。他举例说明，某些聊天机器人曾鼓励自杀或助长妄想，这些都是AI在知识与行为之间存在差距的明显例子。
他强调，现代AI系统是“生长而非制作”，这意味着它们在大量数据上进行调整，但创造者并不完全理解其运行方式。苏雷斯指出，这样的技术可能会产生人类未曾预见的驱动力，这是更大的问题所在。他强调，人类在这方面没有试错的机会，因为“在现实生活中，第一次失败就会导致所有人死亡”。
在谈到如何安全地发展AI时，苏雷斯对AI先驱杰佛瑞·辛顿（Geoffrey Hinton）提出的“母性本能”建议表示怀疑。他认为，这种方法可能无法真正解决问题，因为AI的深层偏好与其训练目标之间的关系可能非常复杂。
苏雷斯呼吁人类应该暂时放慢步伐，专注于狭义的AI应用，例如医疗领域的AI，而不是追求通用的开放式智能。他强调，若认为这些危险的可能性为25%，那么就不应该在75%的风险上掷骰子，应该寻找降低风险的方法。
他对科技领导者的动机表示直言不讳，认为他们往往以“别人也会这样做”作为借口，这使得社会整体应该结束这场疯狂的竞赛。苏雷斯坦言，几年前他就已经为这个问题感到悲伤，因为他意识到这是一个人类难以解决的难题。
（首图来源：Unsplash）
