
C2C电商龙头eBay近期披露自家2024年AI技术发展与成果,以及2025年技术发展计划。eBay CEO Jamie Iannone表示,2024年是他们AI技术颠覆性的一年,大幅升级AI平台,以支持他们打造出相较去年百倍规模的LLM,并推出多种生成式AI买家与卖家功能。今年则要在持续发展AI技术同时,找出更低价、更快速、更有效率的GenAI应用方法。
投资硬件性能并改版AI开发平台
2024年,eBay为发展生成式AI,不只投资硬件设备,激活了一台自有的超级计算机,更大幅翻新AI开发平台,以从头自建并执行比2023年规模大上100倍的LLM,包括用3兆个Token训练而成的多模态、多语言模型。
eBay自家AI平台Kyrlov底层有4个小平台,特征平台(Feature Store)、实验平台、训练平台及推论平台。2024年,他们锁定数个训练平台及推论平台的痛点,导入新技术与做法来解决。
首先是个别项目的硬件资源配给设置无法更改。以往在训练平台与推论平台打开新项目时,工程师须先设置配给项目开发环境的算力及内存。一旦设置,就无法更改。这种模式,使项目无法在资源不足时增加硬件,更无法于霸占过多硬件时发布资源。这使eBay硬件资源利用率非常低,有些项目甚至会出现不到10%利用率的情况。开始大规模发展硬件需求高的生成式AI项目后,此问题带来的冲击尤其显著。
eBay的解法是,先从项目环境设置开始做起,取消必须先设置项目环境硬件的模式,改用系统自动配给硬件资源。同时,设置标准GPU SKU规格,规定一个GPU可以使用的内存上限。
再来,导入新技术来进一步提升硬件调度弹性及使用效率。导入新技术框架,强化GPU多任务能力,提升个别GPU使用效率。并且,导入优先级调度(Preemption)做法,让更高优先度的推论作业,可以抢占低优先度开发作业的硬件资源,来进一步提升调度弹性。另外,他们还导入新的数据流媒体技术,来增加数据传输效率。这一系列解法,提升了2至4倍GPU数据吞吐量。
第二个痛点也与硬件资源调度有关。以往,eBay使用GPU节点,只会配置固定数量CPU。也就是说,当eBay训练或推论作业中,所需CPU数量大于节点上的GPU,就会降低作业性能,或需要激活更多节点,但过程中浪费GPU资源。
他们的解法是,导入Ray框架的Remote CPU功能,调度更多外部CPU资源来支持,进而避免激活更多节点,而导致GPU闲置。导入后,相关作业的GPU利用率提升4倍、单位时间数据吞吐量更提升7倍。
第三个痛点是训练与推论作业所使用的开发语言不同,模型开发工程师使用Python,推论作业的工程师使用Java。这使他们需要花费高达一半的开发时间,进行来回沟通、语言间转换、逻辑改写等作业。导入Ray框架时,他们也使用了Ray的Unified Pythonic API,将两种开发流程使用的语言统一为Python,省去前述作业时间,更简化了计算资源调度及整体作业流程管理。
提升AI开发效率、硬件调度效率及整体可运用硬件数量,使eBay在2024年不只推出新模型,也用生成式AI提升平台上不同作业流程,更能上线了许多生成式AI应用。
eBay 2024到2025年怎么用生成式AI
2024年,eBay推出一系列卖家用的生成式AI应用,包括可以自动化根据图片来批量撰写商品描述并上架商品的功能、根据自然语言描述来生成商品背景图片的功能、商品图片去背功能、社交媒体贴文生成功能等。
Jamie Iannone表示,已经有超过1千万个卖家使用过这些新GenAI功能,用来上架上亿件商品,带来了数十亿美元的平台交易额。卖家对于这些工具的满意度也超过了90%。
他们也针对买家推出一系列GenAI和AI功能,以期提升购卖意愿。这些功能包括个性化服饰推荐及模拟试穿功能、更准确的预计到货时间估算,以及在搜索中提升快速到货商品曝光率等。Jamie Iannone说,这些功能,使最近的年底购物季购买热潮超出eBay预期。
eBay也将生成式AI用于客服、工程、商品搜索、支付、营销等,数十种场景的底层技术改善。一个例子是,他们利用Google Vertex AI及Vector Search功能,来强化自家推荐系统,用于多模态嵌入矢量的快速生成、推论延迟降低,及开发效率速度提升。最后一项效果尤其显著,原本在推荐系统中测试并激活新模型的开发周期,从数月降低到两周。
不只自家开发,eBay也积极与外部合作开发电商GenAI功能,包括与OpenAI的代理人功能Operator合作,使其能推荐eBay商品,甚至直接代为购买商品。
2025年,Jamie Iannone披露,他们将训练较前一年更加大型且成熟的模型。接着,将这些大型模型蒸馏成一个个较小的模型,根据专门用途微调,再投入实际应用。这样一来,才能在提升专门用途的精准度同时,降低推论延迟及成本。目前,他们已经在5个核心电商功能实验,投入了规模仅有原本模型1/8的小型模型,却提升30%精准度,且延迟时间只剩1/10。
至于将生成式AI投入哪些应用,eBay目前聚焦于顾客体验类应用、商品营销类应用、以及广告类应用。他们年报写道,目前公司一大目标是提升自家运营的广告营收,降低站内站外第三方广告占比。目前营销与广告类的一大重要应用是卖家用广告仪表板,呈现广告相关表现数据,并用生成式AI与AI来呈现相关分析、建议策略、趋势洞察等资讯。










