半导体创新企业Cerebras宣布,推出第三代芯片级芯片WSE-3,以相同功耗比较,比上代WSE-2芯片性能翻倍增长。
Cerebras指WSE-3采台积电5纳米,容纳4亿个晶体管于单一芯片,并90万个AI运算核心。44GB暂存内存,可搭配1.5TB/12TB/1.2PB外置存储方案,最高125PFLOPS AI算力。
WSE-3的CS-3系统凭最高1.2PB外置内存,可训练比GPT-4和Gemini大十倍的下代人工智能模型,单逻辑内存空间容纳24,000T的参数规模模型,大大简化开发人员工作。
CS-3也适合超大规模AI运算需求,四系统集群架构可一天内微调70B模型,最大规模2,048个CS-3系统集群时,一天内可训练Llama 70B模型。
Cerebras CS-3系统有卓越易用性,大模型训练代码较GPU减少97%,仅需565行代码就可完成GPT-3模型标准。阿拉伯联合酋长国G42财团表示将打造Cerebras CS-3组成的Condor Galaxy 3超级计算机,含64个系统,可提供8exaFLOP的AI算力。
(首图来源:Cerebras)