从数小时到15秒,这不是科幻电影,而是纽约人寿保险公司真实完成的业务转型成果。全球金融巨头正在经历一场前所未有的数据平台革命,而这场变革的催化剂,正是AWS云计算服务。西班牙对外银行(BBVA)正如“飞行中换引擎”般完成数据平台迁移;巴西Itau银行通过数据网格架构重新定义数据协作模式;而纽约人寿则将索赔处理时间压缩至原来的百分之一。本文深入剖析这些顶尖金融机构如何借助AWS云计算服务,实现数据平台的革命性跨越,制作AI驱动的决策引擎。

西班牙对外银行(Banco Bilbao Vizcaya Argentaria,BBVA)作为业务遍及25个国家的金融巨头,其数据架构经历了从分布式数据库、企业数据存储到大数据平台的发展阶段。然而,当面对每年40%的数据增长速度时,BBVA意识到传统架构已难以为继。

BBVA全球架构师Federico Esteban将其数据平台现代化过程形容为“飞行中换引擎”的艰巨挑战。通过与AWS的战略合作,BBVA开发了名为ADA的全球数据平台,成功实现无缝迁移,同时支持超过6,000名高端用户和40,000名数据消费者。

相较于BBVA,有着179年悠久历史的纽约人寿面临着另一种挑战:其传统Hadoop本地端数据湖环境已接近生命周期终点,不仅供应商支持有限,更无法满足日益增长的数据处理需求。

为突破这个瓶颈,纽约人寿任命了数据与分析总监,成立了AI与数据组织,制定了基于四大支柱的全新数据策略。在CEO的大力支持下,纽约人寿踏上了从Hadoop平台向云计算Lakehouse架构转型的旅程,为其后续的AI创新奠定了坚实基础。

作为巴西最大的银行之一,Itau在南美洲拥有强大市场地位和庞大客户群。面对复杂的数据管理挑战,Itau选择了数据网格(Data Mesh)架构,借助AWS云计算平台创建了灵活高效的数据生态系统。

这个架构设计反映了Itau对数据治理和可用性的高度重视,包含了生产者账户、消费者账户以及中央控制平面账户,搭配AWS Lake Formation提供全方位的治理与支持。在这实例系中,分析工程师扮演着连接数据生产者和消费者的关键桥梁角色。

在Itau的数据生态系统中,数据经过三个关键层级的转换,每一层都由特定角色负责维护和优化:

这种分层架构确保了数据从原始状态逐步转化为具有高业务价值的资产,为下游应用提供可靠基础。

随着AI应用日益广泛,安全挑战也随之增加。金融机构面临的五大AI安全威胁包括:数据外流与敏感资讯泄露、AI模型漏洞攻击、云计算错误配置风险、深伪诈骗攻击,以及提示注入与模型越狱。

为应对这些挑战,企业需创建完整的AI安全六层防护蓝图:

纽约人寿在AWS架构中采用了微账户策略,完全符合AWS Well-Architected Framework的最佳实践。此策略隔离了业务应用程序,适应不同合规与安全需求,同时设立明确边界,确保适当的资源访问控制。

同时,纽约人寿选择了采用Amazon S3作为数据湖和Amazon Redshift作为数据存储的Lakehouse架构。这个策略结合了重新架构和提升转移两种方法,确保业务连续性的同时实现了技术升级。

BBVA的ADA平台则融合了数据网格(Data Mesh)和数据湖仓库(Data Lake House)两种架构的优势。平台核心采用数据湖仓库架构,主要包含Amazon S3、Amazon Redshift、AWS Glue Data Catalog等AWS服务。在消费层,BBVA采用数据网格架构,为各业务部门部署独立“沙盒”(Sandbox)。

随着平台迁移到云计算,成本控制成为新的挑战。BBVA创立了“FinDataOps”部门,专注于数据领域的财务运营。该部门不仅协助财务部门适应按用量付费模式,更提供详细的成本仪表板,让用户能够按业务区域、部门或个人进行分析。

BBVA依据不同区域的风险等级设计了不同的防护措施。最重要的是“主防护机制”,它监控每个沙盒的预算使用情况,在达到40%、50%、100%时发送警告,并在超出200%时自动停止沙盒。用户必须检讨原因、修正预算后才能重新启动。这种机制有效控制了云计算成本,同时确保资源的合理使用。

纽约人寿的业务团队曾面临一个关于索赔管理体验的痛点:需要基于复杂医疗记录生成定制化信件,这个过程高度手动且耗时,通常需要一整天时间。

为解决这个挑战,纽约人寿团队设计了基于Amazon Bedrock的大型语言模型解决方案。利用Amazon SageMaker进行提示词工程和模型调整,结合Amazon OpenSearch Serverless和Amazon DynamoDB实现全面监控。

改进后的流程仍然保留人工审核环节,维持风险控制,但信件生成时间从数小时缩减至仅需15秒。这个变革不仅提高了效率,还改善了一致性,确保所有生成内容维持适当语调,采用事实为基础,并达到特定阅读理解水准,从而提升客户体验并降低法律风险。

在传统模式中,数据科学家往往需要花费大量时间进行数据准备、创建复杂的数据处理渠道,导致将特征和模型投入生产的周期过长。在Itau的转型中,分析工程师通过深入理解业务问题、协助数据科学家将特征转化为生产级数据资产,以及在专业化层中创建高品质特征组,显著提升了数据品质和处理效率。

Itau的分析工程团队使用GitHub存储库管理数据和配置合约,这些合约可由AWS CloudFormation模块读取以部署云资源。核心的自动化工作流利用了AWS Step Functions与Amazon EventBridge的强大协同作用,实现了端到端的自动化流程。

目前,BBVA的ADA平台主要处理结构化数据,但未来计划扩展支持生成式AI所需的非结构化数据。这个趋势反映了整个行业对非结构化数据价值的认识日益提高。随着生成式AI技术的成熟,企业将能从文本、图像、视频等非结构化数据中提取前所未有的洞察。

BBVA计划从批次推论扩展到使用Amazon SageMaker的线上推论,并集成Amazon Kinesis实现实时数据处理,超越目前的批处理模式。这个趋势将使企业能够更快速地响应市场变化和客户需求,实现真正的实时决策。

随着AI时代的到来,分析工程师将越来越多地利用Amazon Q的自然语言界面来加速开发流程,而Amazon Bedrock则为构建、部署和扩展生成式AI应用程序提供了强大的基础模型服务。这些AI工具将帮助分析工程师自动生成数据转换代码、提供智能数据品质建议、加速特征工程过程,以及自动生成数据可视化和故事。

从BBVA、纽约人寿到Itau的数据平台转型之旅,我们可以总结出以下关键成功要素:

这些全球顶尖金融机构的案例完美展示了如何通过AWS云计算服务构建现代化数据平台,不仅显著提升业务流程效率,还为未来的创新奠定了坚实基础。无论企业处于数据平台转型的哪个阶段,这些经验和洞察都将为其提供宝贵指引,助力实现从数据到决策的革命性飞跃。