GIGABYTE与英伟达合作的AI TOP ATOM在小巧的机身中提供1 Peta FLOP运算性能,可以进行各类的AI应用与程序开发,也支持执行丰富的AI工具提高工作效率。

GIGABYTE AI TOP ATOM搭载英伟达 (NVIDIA) 最新专为AI应用设计的NVIDIA GB10 Grace Blackwell超级芯片,它等于是缩小版的GB200数据中心AI芯片,具有20个CPU核心,以及NVIDIA Blackwell架构GPU,提供PetaFLOP级运算性能,相当适合应用于学术机构的教学与研究,以及AI程序开发者等场景。

它最厉害的地方就是运算架构与英伟达的显卡、数据中心AI芯片相同,因此能够兼容并执行对应的AI应用程序,让用户可以先在AI TOP ATOM上尝试各种创意萌生想法,并开发为实际程序,然后在本地测试之后,发布到个人计算机、工作站或是云计算主机执行,完美满足本地与云计算AI开发需求,打开无限AI潜能。

AI TOP ATOM的另一个特色就是搭载128GB的LPDDR5x高容量一致性统一内存(Unified Memory),带宽高达256-bit,传输速度更是可以达到273 GB/s,能够更快加载AI模型与程序,也对性能有所帮助,而如此高的内存容量也让它能够支持高达200B(2,000亿)组参数的模型,远远高于英伟达旗舰显卡GeForce RTX 5090的32GB所能支持的模型,赋予用户更多样的模型选择。

为了方便存储AI模型与训练数据,AI TOP ATOM最高可以选配4TB PCIe Gen 5固态硬盘,借由海量存储空间以舒解日益增加的文件数量,让用户可以完全施展拳脚,准备各种AI模型来满足不同痛点的需求,同时也方便搭配各种自有数据来进行模型微调,或是准备个人专属的RAG数据库,以在推论的时候达到精准定制化的效果。

GIGABYTE已在AI领域投入相当多的心力,并且推出独家AI TOP Utility应用软件,提供图形化的AI控制中心、仪表板,让用户可以更明确设置与掌握计算机的工作状态,同时也简化了部署AI模型与应用程序的手续。

AI TOP ATOM不但支持完整的NVIDIA AI软件堆栈,同时也独家内置GIGABYTE AI TOP Utility,用户只需点几下鼠标就能快速完成本地端训练、推论与部署,这点我们等一下会在后面进行实际操作展示。

GIGABYTE AI TOP ATOM将AI超级计算机浓缩到你的桌面,适合AI开发者、爱好者、学生、研究人员与数据分析师使用。(图片来源:技嘉科技)

GIGABYTE AI TOP ATOM搭载辉GB10 Grace Blackwell超级芯片,相同硬件架构带来的兼容性,让它能够与AI超级计算机执行相同的AI应用程序。(图片来源:技嘉科技)

如果觉得一台AI TOP ATOM的算力或128GB内存不敷使用,还可串联两台扩展算力。(图片来源:技嘉科技)

GIGABYTE AI TOP ATOM的外观真的很小巧精致,主机的体积只有1公升,重量也只有1.2公斤,内部安装高速PCIe Gen 5固态硬盘,也已经预先安装NVIDIA DGX™ OS操作系统,只需接上电源开机就可开始使用。

AI TOP ATOM的扩展端口都放置于主机后方,具有3组USB 3.2 Gen 2x2 Type-C (Up to 20Gbps),还有Type C形式的电源端子,它还有一个HDMI 2.1a端子可以连接屏幕,还有速度可达10 GbE的RJ-45连接端口,也提供Wi-Fi 7和蓝牙5.4等无线网络功能。

需要特别强调的是AI TOP ATOM具有一套NVIDIA ConnectX-7智能网络适配器,提供的高带宽、低延迟的数据传输,更厉害的是还可以将两台AI TOP ATOM系统可直接互联,成倍扩展运算推论能力,让原本只支持200B参数模型提升为能运行405B参数模型。

小编把AI TOP ATOM接上电源与屏幕后,第一次开机需要进行简单的操作系统初始化设置,并且创建用户账号,之后就可以进入NVIDIA DGX™ OS操作系统的桌面环境,提供容易操作的图形化界面。

不过这边有一个可以改进的小地方,就是系统并没有内置AI TOP Utility,需要到官方网站手动下载并安装。还好安装方式很简单,下载DEB格式安装包并执行之后,过程只需要输入计算机的用户密码,不需要输入任何文本指令就会自动完成安装工作。

接着我们可以在开始菜单里面找到AI TOP Utility的捷径,打开之后就可以看到AI TOP Utility仪表板,从这边监控系统状态,也能够在下载专区输入Hugging Face的访问令牌(token),就能直接选择想要使用的AI模型,以备在后续执行AI推论的应用程序。

AI TOP ATOM的包装相当有设计感,黑色主体搭配亮面的曲线散发出专业的科技感。

打开黑色包装后,内里呈现技嘉科技的主题蓝色。

包装内容物主要具有AI TOP ATOM主机以及240瓦电源供应器。

AI TOP ATOM主机正面的风格与包装盒相呼应,都以黑色曲线装饰。

主机背面透气口的部分也是采用黑色曲线作为视觉风格。

AI TOP ATOM有一个电源端子,三组组USB 3.2 Gen 2x2 Type-C (Up to 20Gbps),还有HDMI 2.1a端子、10 GbE RJ-45连接端口,以及一套NVIDIA ConnectX-7智能网络适配器。

主机的下方用两条防滑条垫抬高,有助于散热。

第一次开机的时候会出现欢迎画面,界面与一般Windows计算机相当接近,可以使用键盘鼠标操作。

在语言方面可以选择繁体中文,降低语言隔阂的门槛。

开机完成后我们先到技嘉科技的官方网站下载AI TOP Utility。

在AI TOP专区找到AI TOP ATOM版本的AI TOP Utility下载选项。

解压缩下载的文件之后执行 .deb格式的安装包。

打开之后就会看到安装包的资讯,这边当然是选择安装。

之后只需要输入计算机的用户密码,程序会自动安装。

安装完成就可以打开AI TOP Utility,进入后可以看到CPU、GPU、内存使用率等系统资讯。

在AI TOP Utility里面的下载专区可以看到列出支持的AI模型。

我们可以自由选择想要使用的模型,程序就会将所有相关文件下载到指定的文件夹,不需一一手动下载。

AI TOP ATOM的特色之一就是完整支持NVIDIA AI软件堆栈,并具有独家GIGABYTE AI TOP Utility,方便开发者能在本地端快速完成训练、推论与部署。

专业用户可以在AI TOP ATOM上开发AI模型或是微调模型,亲自进行AI原型制作,或是使用自己的数据强化预训练模型,来打造专属的解决方案,举例来说,企业可以开发能够理解自家产品特色与细节的聊天机器人,而且所有数据都存储当地端,在本地运算,能够确保数据隐私,数据科学家也可以利用AI TOP ATOM当地端用数据自动化流程完成工作,完成探索性分析、特征工程到预测建模。

AI TOP ATOM能进行快速且安全的推论,方便用于测试、评估或运行个人AI助理,也是很理想的边缘运算设备,适合用于机器人、计算机视觉、多模态等应用。

小编也利用AI TOP Utility尝试架设ChatGPT AI聊天机器人,还有进行FLUX AI图像生成,操作的方式相当简单,只需点几下鼠标就可以开始使用,比起从零开始手动设置简单很多。

小编也特别测试GPT-OSS-120B这款参数量高达1200亿个参数的超大模型,所以需要更多的GPU内存才能运行推论模型,实测的时候发现占用接近70GB的内存,如果使用RTX系列的显卡的话,至少需要串联三张GeForce RTX 5090才能提供足够GPU内存,不但占用的空间更多,耗电量也有相对增长,而且价格也不是很便宜,充分显示了AI TOP ATOM的优势。

使用AI聊天机器人的方式相当简单,我们先选择左方功能表的Inference,然后加载刚才下载的AI模型。

按下Start Chat之后,就可以在下面的对话框输入想要对谈的内容。

先试一下参数量比较小的Llama-3-8B模型,我们问它要怎么制作夏威夷比萨,它可以了解中文提问,但是使用英文回答。

在回答结束之后,消息后方会显示总共生成468组词元,速度为每秒4.12个。

在执行过程中我们切换到仪表板,当时内存的使用量已经达到38.59GB,虽然超过GeForce RTX 5090的容量,但对AI TOP ATOM来说还是从从容容。

接下来我们切换到参数量极大的GPT-OSS-120B模型,一样用中文问它要怎么制作夏威夷比萨。

GPT-OSS-120B有思维链的设计,会思考跟分析我们输入的问题,它发现我们是用中文提问,但使用英文思考。

接下来回应问题的时候,则会使用中文,并且回答相当仔细,内容的知识含量远高于Llama-3-8B。

GPT-OSS-120B真的很人性化,连要如何装饰还有搭配的饮品都能够娓娓道来。

最后我们可以看到它总共生成2230组词元,速度为每秒4.4个。

GPT-OSS-120B吃掉了69.05GB的内存,但是对AI TOP ATOM来说依然游刃有余,总量达到128GB的统一架构内存完全发挥了它的价值,能够支持参数量更多的模型,提升回应答案的内容与准确度。

AI图像生成对AI TOP ATOM来说当然也是小菜一碟,通过AI TOP Utility免设置就能搞定所有准备步骤,只须输入提示词就能产生逼真动人的图片。

我们用FLUX.1-dev作为范例,在AI TOP Utility里面下载模型之后,到左方功能表的Inference选择文生图功能与模型,就能轻轻松松开始玩文生图。

在图像生成的工作时,我们将推论的类型切换为文生图,然后选择FLUX.1-dev模型。

我想要它生成一个沿着山坡走下来穿着洋装与草帽的女孩。

出来的图片品质很好,有接近照片的感觉,光影也十分自然。

我们也试一下让它产生看着程序代码的工程师。

得到的图片品质依然很好,都有完成提出需求的重点,简简单单就可以取得我们想要的图片。

AI TOP ATOM最大的特色就是同时具有NVIDIA官方提供的AI开发参考数据、教学资源,还有技嘉科技独家提供的AI TOP Utility,等于可有享用双边的资源,协助你从零开始自行学习各种AI开发的知识以及操作技巧。

用户可以先在AI TOP Utility里面能熟悉使用现成AI模型,或是当作超级AIPC、AI助理使用。在这之后就可以往高端班前进,学习如何微调模型或是使用RAG改善准确度,或是尝试将模型量化为f32, f16, bf16, 8-bit等等模式,加快执行速度,此外还可以从Build NVIDIA网站下载AI软件堆栈、工具、框架、函数库和预先训练的模型,或是参考丰富的教学资源,进一步强化自己的AI技能以及开发的程序。

探索NVIDIA Playbook模型,设置与执行常用AI工作流程皆有详细说明。

当当地端完成开发与测试工作之后,还可以将程序部署至数据中心或云计算上来使用,打造快速的开发流程。