AWS宣布Bedrock Guardrails中的自动推理(Automated Reasoning)检查功能正式上线,官方表示,这项功能运用数学逻辑与形式化验证技术,能将大型语言模型生成内容与既定政策或领域规范进行对照,验证准确率可达99%。对需要在高法规遵循的环境,控制人工智能输出品质的开发团队而言,这提供了一套可追溯、可量化的验证机制,用以降低幻觉并尽早发现潜在歧义。
自动推理检查功能会将自然语言撰写的政策或规范转换为可机器推理的逻辑表示,并依严格规则检验模型回应是否符合条件。这与常见依赖机率推论的方法不同,后者在不确定情况下会替各种结果分配机率,而自动推理则基于可证明的验证框架,提供明确的有效、无效或依假设而定的可满足判定。
自动推理检查功能可支持一次处理8万Token相当100页文件内容,可将完整规范或大型文件纳入单次处理。用户可以存储并重复执行验证测试,确保政策调整后结果一致,系统也会自动产生测试场景,减少人工设计案例的时间成本,其他强化功能包括自然语言化的政策修改建议,以及可自订信心分数门槛,以配合不同应用场景的检核需求。
在使用上,开发者可于Bedrock控制台上传政策文件,系统会解析出规则、变量及自订类型,将条文转化为可运算的逻辑结构。随后可通过自动或手动测试场景输入模型生成的问答内容,检验其与政策的一致性,当测试失败,可追溯至触发矛盾的规则来源,以便调整政策或测试案例。
自动推理检查可与Bedrock Guardrails的其他防护措施搭配使用,例如内容过滤与场景对齐检查,并不限于AWS模型,也能通过ApplyGuardrail API应用于第三方模型,包括OpenAI与Google,或集成至代理框架。
目前自动推理检查已在美东、美西及欧洲等AWS区域上线,计费依处理文本量与验证请求计算。AWS同时提供技术文件与GitHub范例,协助开发者导入并测试此功能。