January 23, 2024

性能碾压英伟达,AMD开始批量出货这款GPU

近日,来自初创AI公司LaminiAI首席执行官Sharon Zhou的最新消息,AMD已经开始向人工智能(AI)和高性能计算(HPC)应用领域批量供应其Instinct MI300X GPU。从LaminiAI的名字中可以看出,该公司计划使用AMD的Instinct MI300X加速器来运行大型语言模型(LLM),为企业客户提供服务。

AMD向超算客户供应Instinct MI300系列产品有一段时间了,并且预计该系列将成为公司历史上最快达到10亿美元销售额的产品。如今,AMD还开始向市场投放Instinct MI300X GPU。作为AMD的长期合作伙伴,LaminiAI优先获得了这些先进的硬件。这对AMD来说无疑是一个重要的里程碑,因为这标志着市场首次了解到MI300X的大规模发货情况。事实上,LaminiAI已经收到了多台配备了8个加速器的Instinct MI300X设备。

Sharon Zhou在其声明中表示:“首批AMD MI300X已经投入生产。就像新鲜出炉的面包,8x MI300X已经上线运行。如果您在构建开放式LLM项目,并且计算资源成为障碍,请与我联系。每个人都应该有机会使用这种被称为LLM的神奇技术。这意味着,LaminiAI的下一代LLM处理器已经到位。”

Zhou发布的截图显示,一台8路AMD Instinct MI300X已经开始运行。但从系统截图中显示的功耗来看,这些GPU可能处于空闲状态——它们很可能尚未执行高强度的计算任务。

AMD的Instinct MI300X是其Instinct MI300A的姊妹产品,后者是业界首款适用于数据中心的加速处理单元,集成了通用x86 CPU核心和基于CDNA 3架构的高度并行计算处理器,适用于AI和HPC工作负载。

不同于Instinct MI300A,Instinct MI300X并不包含x86 CPU核心,但其拥有更多的CDNA 3芯片组(共304个计算单元,远高于MI300A的228个CU),从而提供了更高的计算性能。此外,Instinct MI300X搭载了192 GB的HBM3内存(峰值带宽高达5.3 TB/s)。

根据AMD展示的性能数据,Instinct MI300X的表现超越了Nvidia的H100 80GB GPU。后者已经上市并被谷歌、Meta(Facebook)和微软等大型云计算公司广泛采用。Instinct MI300X也很可能成为Nvidia即将推出的H200 141GB GPU的强有力竞争者。

本站的MI300X与H100对比图

早前的报告显示,Meta和微软正在大量采购AMD的Instinct MI300系列产品。LaminiAI成为了首个公开确认在生产环境中使用Instinct MI300X加速器的公司。

0 comments:

VxWorks

Blog Archive