马斯克（Elon Musk）旗下xAI开始运用位于美国田纳西州曼菲斯所谓“曼菲斯超级集群”，训练强大的语言模型。
“在单一RDMA结构上拥有10万颗液冷H100，它是世界上最强大的AI训练集群”，马斯克在X分享曼菲斯超级集群。“很高兴与马斯克一起创造历史，与他的曼菲斯团队合作是一次很棒的经历！为了完成这个目标，我们的执行必须尽可能完美、尽可能快速、尽可能有效率、尽可能环保。虽然辛苦，但很有意义、令人兴奋”，美超微首席执行官梁见后也在X留言表示。
Glad to be making history with@elonmusk, such a great experience to work with his Memphis team! To meet the target, our execution had to be as perfect as possible, as quick as possible, as efficient as possible and as environmentally friendly as possible – lots of hard work, but…
— Charles Liang (@charlesliang)July 22, 2024
根据当地媒体WREG报道，曼菲斯超级集群位于曼菲斯西南部，xAI将成为该城市历史上新进入市场的公司中最大笔的投资。值得一提的是，整个曼菲斯超级集群需要超过100 MW电力，xAI尚未与当地公共业务公司田纳西河谷管理局（Tennessee Valley Authority，TVA）签署用电合约。
马斯克在回复X更谈道，xAI目标是训练各项指标最强大的人工智能，并在今年12月之前实现该目标。
当OpenAI、Anthropic、微软、Google、Meta都在追求更强大、更经济实惠的大型和小型语言模型，xAI如果着眼于AI竞赛中为客户保持竞争力，那么该公司需要一个全新、更有用的模型。
值得一提的是，Meta大规模建设运算基础设施，预计今年底将包含35万颗H100 GPU。外媒《The Information》报道透露，微软和OpenAI于美国当地携手建造一座数据中心，具备容纳数百万颗GPU、针对AI运算优化的超级计算机，这项内部称为“Stargate”的计划估计花费超过1,150亿美元。
（首图来源：Charles Liang）
