Phison在GTC 2024春季场展示aiDAPTIV+解决方案,通过中间件将固态硬盘作为显示内存使用,解决执行大型AI模型内存不足的问题。
训练大型AI模型、大型语言模型(LLM)会消耗相当大量的显示内存(VRAM,或AI加速器上的专属内存),若内存容量不足将直接导致无法完成讯练的问题,而搭载大容量显示内存的产品价格相对高昂许多。
Phison推出的aiDAPTIV+解决方案包含中间件(Middleware)与独家专利设计的aiDAPTIVCache系列ai100 SSD,将固态硬盘作为显示内存使用,将可让现行的工作站计算机或是AI服务器训练更大的AI模型,节省大量费用,也能避免使用云计算服务器造成的数据外泄风险。
Phison在GTC 2024春季场的展场区域展示aiDAPTIV+解决方案。
aiDAPTIV+虽然会牺牲部分性能,但能以成本更低的固态硬盘取代昂贵的显示内存。
aiDAPTIV+解决方案除了中间件之外,还有aiDAPTIVCache系列ai100 SSD固态硬盘。
展场展出aiDAPTIV+解决方案以及ai100 SSD固态硬盘实物。
以Phison提供的数据为例,以30组RTX 6000ADA运算卡训练Llama-2 70B模型虽然只须0.8小时,但系统成本高达美金28.8万元。使用4/16组运算卡虽然会让训练时间分别提高到4.41/1.2小时,但成本降至美金4.5/18万元。
aiDAPTIV+解决方案的运行范例展示。
Phison也宣布与Asus、GIGABYTE、Maingear、MediaTek、台湾大哥大等厂商创建aiDAPTIV+技术合作伙伴关系,推动技术发展。