微软今年3月宣布开放预览的生成式人工智能专用虚拟机Azure ND H100 v5，现在正式上线，该虚拟机配备Nvidia H100 Tensor Core GPU与低延迟网络设备，可用于执行复杂的生成式人工智能运算。另外，微软也扩大Azure OpenAI服务规模，添加在澳洲、亚洲和欧洲云计算地区提供服务。
Azure ND H100 v5的特色在于，配备8个Nvidia在2023年新推出的数据中心用H100 Tensor Core GPU，以及采用低延迟Quantum-2 ConnectX-7 InfiniBand网络设备，每个虚拟机可拥有高达3.2 Tb/s的跨节点带宽，相当于每个GPU可获得400 Gb/s的带宽，确保跨GPU的运算性能。
Azure ND H100 v5的CPU使用第4代Intel Xeon Scalable处理器，而GPU与主机接口使用PCIe Gen5，每个GPU可以获得64GB/s的带宽，进一步减少CPU和GPU间的传输瓶颈。
有了H100 Tensor Core GPU的加持，ND H100 v5运算性能较上一代的虚拟机更好，由于H100支持FP8浮点数数据类型，因此ND H100 v5在矩阵运算上，性能可为上一代ND A100 v4的6倍，执行BLOOM 175B端到端大型语言模型推理，速度则是上一代的2倍。
盘点Nvidia在其2022 GTC大会中，预告将会部署H100执行实例的云计算供应商，目前正式推出的服务有AWS的Amazon EC2 P5，以及微软Azure ND H100 v5，而Google云计算的A3，还有甲骨文OCI采用H100的执行实例则仍在预览测试阶段。
除了Azure ND H100 v5虚拟机的正式推出外，微软也宣布扩大提供OpenAI GPT-4和GPT-35-Turbo的Azure OpenAI服务，除了原本的美国东部、美国中南、法国中部和西欧，现在更增加了澳洲东部、加拿大东部、美国东部2、日本东部和英国南部地区。
