开源搜索与分析引擎OpenSearch发布3.0版本,这是AWS将项目移交至Linux基金会后第一个重大版本更新。OpenSearch 3.0强化查询性能、数据传输与矢量查询功能,也导入多项针对生成式人工智能应用的技术支持。

性能提升是OpenSearch 3.0的一大亮点,官方指出,与2.19版相比,3.0在多项查询操作上平均快20%,与1.3版相比则提升达9.5倍,这主要来自底层索引引擎升级至Apache Lucene 10,改善矢量字段索引、稀疏数据处理与压缩方式,提升查询与存储效率。

新版OpenSearch增加gRPC与protobuf支持改善数据传输效率,让OpenSearch能在处理大型或复杂查询时减少串行化成本,也更容易集成进现有gRPC架构。数据源方面,OpenSearch 3.0引入基于拉取的截取方式,可从Kafka与Kinesis等流媒体来源主动拉取数据,较传统推送方式更能控制流量与稳定性。

矢量查询也是本次版本更新的重点之一,过去以实验功能发布的衍生来源(Derived Source)机制正式推出,允许在不存储原始矢量的情况,于查询阶段动态取得矢量值,借此降低存储成本并提升冷启动查询性能,使冷启动查询延迟最多改善达30倍,且支持多种矢量引擎。

OpenSearch也导入GPU加速索引创建,可使索引创建速度提升9倍以上,适合高频率矢量数据场景,搭配新推出的Explain API,开发者可进一步了解矢量查询计分逻辑,掌握相似度计算与排序依据。

观测性与日志分析功能也有所扩展,PPL查询语言加入字段对照查询(Lookup)、字段关联(Join)与子查询(Subsearch)语法,可用来即时补足数据上下文或关联性,对安全分析与跨来源日志处理特别实用。Query Insights功能则添加即时查询观测API与弹性字段显示,可即时掌握资源密集型查询对系统的影响,提升监控效率。

OpenSearch自2021年由AWS主导成立,作为Elasticsearch更改授权后的开源替代方案。2024年AWS将项目正式移交给Linux基金会旗下的OpenSearch基金会,确立由社交媒体主导的治理架构。转移后,技术决策由技术指导委员会负责,资源与项目方向由管理委员会统筹,降低对单一厂商依赖,并扩大外部贡献者参与。