关键词：M2芯片；Ultra；M1芯片；UltraFusion；ULTRAMAN；RTX4090、A800;A100；H100；LLAMA、LM、AIGC、CHATGLM、LLVM、LLM、LLMs、GLM、NLP、ChatGPT、AGI、HPC、GPU、CPU、CPU+GPU、英伟达、Nvidia、英特尔、AMD、高性能计算、高性能服务器、蓝海大脑、多元异构算力、高性能计算、大模型训练、大型语言模型、通用人工智能、GPU服务器、GPU集群、大模型训练GPU集群、大语言模型

摘要：训练和微调大型语言模型对于硬件资源的要求非常高。目前，主流的大模型训练硬件通常采用英特尔的CPU和英伟达的GPU。然而，最近苹果的M2 Ultra芯片和AMD的显卡进展给我们带来了一些新的希望。

苹果的M2 Ultra芯片是一项重要的技术创新，它为苹果设备提供了卓越的性能和能效。与此同时，基于AMD软硬件系统的大模型训练体系也在不断发展，为用户提供了更多选择。尽管英伟达没有推出与苹果相媲美的200G显卡，但他们在显卡领域的竞争仍然激烈。对比苹果芯片与英伟达、英特尔、AMD的最新硬件和生态建设，我们可以看到不同厂商在性价比方面带来了全新的选择。

蓝海大脑为生成式AI应用提供了极具吸引力的算力平台，与英特尔紧密协作，为客户提供强大的大模型训练和推理能力，加速AIGC创新步伐、赋力生成式AI产业创新。

在WWDC2023开发者大会上苹果推出M2 Ultra芯片，以及搭载该芯片的新款Mac Studio和Mac Pro。这款芯片采用了第二代5nm制程工艺技术，是苹果迄今为止最大且最强大的芯片。

去年3月，苹果展示了一种将两块M1芯片“粘”在一起的设计，发布集成1140亿颗晶体管、20核CPU、最高64核GPU、32核神经网络引擎、2.5TB/s数据传输速率、800GB/s内存带宽、128GB统一内存的“至尊版”芯片M1 Ultra。延续M1 Ultra的设计思路，M2 Ultra芯片通过采用突破性的UltraFusion架构，将两块M2 Max芯片拼接到一起，拥有1340亿个晶体管，比上一代M1 Ultra多出200亿个。

UltraFusion是苹果在定制封装技术方面的领先技术，其使用硅中介层（interposer）将芯片与超过10000个信号连接起来，从而提供超过2.5TB/s的低延迟处理器间带宽。基于这一技术，M2 Ultra芯片在内存方面比M1 Ultra高出了50%，达到192GB的统一内存，并且拥有比M2 Max芯片高两倍的800GB/s内存带宽。以往由于内存不足，即使是最强大的独立GPU也无法处理大型模型。然而，苹果通过将超大内存带宽集成到单个SoC中，实现单台设备可以运行庞大的机器学习工作负载，如大型Transformer模型等。

除苹果的M2 Ultra在大模型训练方面取得了显著进展之外，AMD的生态系统也在加速追赶。

据7月3日消息，NVIDIA以其显著的优势在显卡领域获得了公认的地位，无论是在游戏还是计算方面都有着显著的优势，而在AI领域更是几乎垄断。然而，有好消息传来，AMD已经开始发力，其MI250显卡性能已经达到了NVIDIA A100显卡的80%。AMD在AI领域的落后主要是因为其软件生态无法跟上硬件发展的步伐。尽管AMD的显卡硬件规格很高，但其运算环境与NVIDIA的CUDA相比仍然存在巨大的差距。最近，AMD升级了MI250显卡，使其更好地支持PyTorch框架。

MosaicML的研究结果显示，MI250显卡在优化后的性能提升显著，大语言模型训练速度已达到A100显卡的80%。AMD指出，他们并未为MosaicML进行这项研究提供资助，但表示将继续与初创公司合作，以优化软件支持。但需要注意的是，NVIDIA A100显卡是在2020年3月发布的，已经是上一代产品，而NVIDIA目前最新的AI加速卡是H100，其AI性能有数倍至数十倍的提升。AMD的MI250显卡也不是最新产品，其在2021年底发布，采用CDNA2架构，6nm工艺，拥有208个计算单元和13312个流处理器核心，各项性能指标比MI250X下降约5.5%，其他规格均未变动。

AMD体系的特点如下：

一、LLM训练非常稳定

使用AMD MI250和NVIDIA A100在MPT-1B LLM模型上进行训练时，从相同的检查点开始，损失曲线几乎完全相同。

二、性能与现有的A100系统相媲美

MosaicML对MPT模型的1B到13B参数进行了性能分析发现MI250每个GPU的训练吞吐量在80%的范围内与A100-40GB相当，并且与A100-80GB相比在73%的范围内。随着AMD软件的改进，预计这一差距将会缩小。

三、基本无需代码修改

得益于PyTorch对ROCm的良好支持，基本上不需要修改现有代码。

一、英伟达显卡与M2 Ultra 相比性能如何

在传统英特尔+英伟达独立显卡架构下，CPU与GPU之间的通信通常通过PCIe进行。最强大的H100支持PCIe Gen5，传输速度为128GB/s，而A100和4090则支持PCIe 4，传输速度为64GB/s。

另一个重要的参数是GPU的显存带宽，即GPU芯片与显存之间的读写速度。显存带宽是影响训练速度的关键因素。例如，英伟达4090显卡的显存带宽为1.15TB/s，而A100和H100的显存带宽分别为1.99TB/s和3.35TB/s。

最后一个重要的参数是显存大小，它指的是显卡上的存储容量。目前，4090是消费级显卡的顶级选择，显存大小为24GB，而A100和H100单张显卡的显存大小均为80GB。这个参数对于存储大规模模型和数据集时非常重要。

M2 Ultra的芯片参数和4090以及A100的对比（CPU采用英特尔最新的i9-13900KS）

从这些参数来看，苹果的M2 Ultra相对于英伟达的4090来说性能稍低，与专业级显卡相比则较为逊色。然而，M2 Ultra最重要的优势在于统一内存，即CPU读写的内存可以直接被显卡用作显存。因此，拥有192GB的显存几乎相当于8个4090或者2.5个A100/H100的显存。这意味着单个M2 Ultra芯片可以容纳非常大的模型。例如，当前开源的LLaMA 65B模型需要120GB的显存才能进行推理。这意味着苹果的M2 Ultra可以直接适用于LLaMA 65B，而目前没有其他芯片能够单独承载如此庞大的模型，甚至包括最新的H100。

从上述参数对比来看，M2 Ultra在其他指标接近4090的情况下，显存大小成为其最大的优势。尽管M2 Ultra并非专为大模型训练而设计，但其架构非常适合进行大模型训练。

在上层生态方面，进展也非常良好。2022年5月18日，PyTorch宣布支持苹果芯片，并开始适配M1 Ultra，利用苹果提供的芯片加速库MPS进行加速Ultra上使用PyTorch进行训练。以文本生成图片为例，它能够一次性生成更多且更高精度的图片。

二、NVIDIA为什么不推出一款200GB显存以上的GPU？

主要原因可以分为以下几点：

1、大语言模型火起来还没多久；

2、显存容量和算力是要匹配的，空有192GB显存，但是算力不足并无意义；

3、苹果大内存，适合在本地进行推理，有希望引爆在端侧部署AI的下一轮热潮。

从2022年11月ChatGPT火起来到现在，时间也不过才半年时间。从项目立项，到确定具体的规格，再到设计产品，并且进行各种测试，最终上市的全流程研发时间至少在一年以上。客观上讲，大语言模型形成全球范围的热潮，一定会带动对于显存容量的需求。英伟达未来显存容量的升级速度一定会提速。

过去之所以消费级显卡的显存容量升级较慢，根本原因是没有应用场景。8GB的消费级显卡用来打游戏足矣，加速一些视频剪辑也绰绰有余。更高的显存容量，只能服务于少量科研人员，而且大多都去买了专业卡专门应用。现在有了大语言模型，可以在本地部署一个开源的模型。有了对于显存的明确需求，未来一定会快速提升显存容量的。

其次，苹果有192GB的统一内存可以用于大语言模型的“训练”。这个认知是完全错误的。AI模型可以分为训练（train）、微调（fine-tune）和推理(inference)。简单来说，训练就是研发人员研发AI模型的过程，推理就是用户部署在设备上来用。从算力消耗上来说，是训练>微调>推理，训练要比推理的算力消耗高至少3个数量级以上。

训练也不纯粹看一个显存容量大小，而是和芯片的算力高度相关的。因为实际训练的过程当中，将海量的数据切块成不同的batch size，然后送入显卡进行训练。显存大，意味着一次可以送进更大的数据块。但是芯片算力如果不足，单个数据块就需要更长的等待时间。

显存和算力，必须要相辅相成。在有限的产品成本内，两者应当是恰好在一个平衡点上。现阶段英伟达的H100能够广泛用于各大厂商的真实模型训练，而不是只存在于几个自媒体玩具级别的视频里面，说明H100能够满足厂商的使用需要。

要按苹果的显存算法，一块Grace Hopper就超过了啊。一块Grace Hopper的统一内存高达512GB，外加Hopper还有96GB的独立显存，早就超了。

AI技术的蓬勃发展使得NVIDIA的显卡成为市场上备受瞩目的热门产品。尤其是高端的H100加速卡，其售价超过25万元，然而市场供不应求。该加速卡的性能也非常惊人，最新的AI测试结果显示，基于GPT-3的大语言模型训练任务刷新了记录，完成时间仅为11分钟。

据了解，机器学习及人工智能领域的开放产业联盟MLCommons发布了最新的MLPerf基准评测。包括8个负载测试，其中就包含基于GPT-3开源模型的LLM大语言模型测试，这对于评估平台的AI性能提出了很高的要求。

参与测试的NVIDIA平台由896个Intel至强8462Y+处理器和3584个H100加速卡组成，是所有参与平台中唯一能够完成所有测试的。并且，NVIDIA平台刷新了记录。在关键的基于GPT-3的大语言模型训练任务中，H100平台仅用了10.94分钟，与之相比，采用96个至强8380处理器和96个Habana Gaudi2 AI芯片构建的Intel平台完成同样测试所需的时间为311.94分钟。

H100平台的性能几乎是Intel平台的30倍，当然，两套平台的规模存在很大差异。但即便只使用768个H100加速卡进行训练，所需时间仍然只有45.6分钟，远远超过采用Intel平台的AI芯片。

H100加速卡采用GH100 GPU核心，定制版台积电4nm工艺制造，拥有800亿个晶体管。它集成了18432个CUDA核心、576个张量核心和60MB的二级缓存，支持6144-bit HBM高带宽内存以及PCIe 5.0接口。

H100计算卡提供SXM和PCIe 5.0两种样式。SXM版本拥有15872个CUDA核心和528个Tensor核心，而PCIe 5.0版本则拥有14952个CUDA核心和456个Tensor核心。该卡的功耗最高可达700W。

就性能而言，H100加速卡在FP64/FP32计算方面能够达到每秒60万亿次的计算能力，而在FP16计算方面达到每秒2000万亿次的计算能力。此外，它还支持TF32计算，每秒可达到1000万亿次，是A100的三倍。而在FP8计算方面，H100加速卡的性能可达每秒4000万亿次，是A100的六倍。

蓝海大脑大模型训练平台提供强大的支持，包括基于开放加速模组高速互联的AI加速器。配置高速内存且支持全互联拓扑，满足大模型训练中张量并行的通信需求。支持高性能I/O扩展，同时可以扩展至万卡AI集群，满足大模型流水线和数据并行的通信需求。强大的液冷系统热插拔及智能电源管理技术，当BMC收到PSU故障或错误警告（如断电、电涌，过热），自动强制系统的CPU进入ULFM（超低频模式，以实现最低功耗）。致力于通过“低碳节能”为客户提供环保绿色的高性能计算解决方案。主要应用于深度学习、学术教育、生物医药、地球勘探、气象海洋、超算中心、AI及大数据等领域。

一、为什么需要大模型？

1、模型效果更优

大模型在各场景上的效果均优于普通模型

2、创造能力更强

大模型能够进行内容生成（AIGC），助力内容规模化生产

3、灵活定制场景

通过举例子的方式，定制大模型海量的应用场景

4、标注数据更少

通过学习少量行业数据，大模型就能够应对特定业务场景的需求

二、平台特点

1、异构计算资源调度

一种基于通用服务器和专用硬件的综合解决方案，用于调度和管理多种异构计算资源，包括CPU、GPU等。通过强大的虚拟化管理功能，能够轻松部署底层计算资源，并高效运行各种模型。同时充分发挥不同异构资源的硬件加速能力，以加快模型的运行速度和生成速度。

2、稳定可靠的数据存储

支持多存储类型协议，包括块、文件和对象存储服务。将存储资源池化实现模型和生成数据的自由流通，提高数据的利用率。同时采用多副本、多级故障域和故障自恢复等数据保护机制，确保模型和数据的安全稳定运行。

3、高性能分布式网络

提供算力资源的网络和存储，并通过分布式网络机制进行转发，透传物理网络性能，显著提高模型算力的效率和性能。

4、全方位安全保障

在模型托管方面，采用严格的权限管理机制，确保模型仓库的安全性。在数据存储方面，提供私有化部署和数据磁盘加密等措施，保证数据的安全可控性。同时，在模型分发和运行过程中，提供全面的账号认证和日志审计功能，全方位保障模型和数据的安全性。

三、常用配置

目前大模型训练多常用H100、H800、A800、A100等GPU显卡，其中H100 配备第四代 Tensor Core 和 Transformer 引擎（FP8 精度），与上一代产品相比，可为多专家 (MoE) 模型提供高 9 倍的训练速度。通过结合可提供 900 GB/s GPU 间互连的第四代 NVlink、可跨节点加速每个 GPU 通信的 NVLINK Switch 系统、PCIe 5.0 以及 NVIDIA Magnum IO™ 软件，为小型企业到大规模统一 GPU 集群提供高效的可扩展性。

搭载 H100 的加速服务器可以提供相应的计算能力，并利用 NVLink 和 NVSwitch 每个 GPU 3 TB/s 的显存带宽和可扩展性，凭借高性能应对数据分析以及通过扩展支持庞大的数据集。通过结合使用 NVIDIA Quantum-2 InfiniBand、Magnum IO 软件、GPU 加速的 Spark 3.0 和 NVIDIA RAPIDS™，NVIDIA 数据中心平台能够以出色的性能和效率加速这些大型工作负载。

1、H100工作站常用配置

CPU：英特尔至强Platinum 8468 48C 96T 3.80GHz 105MB 350W

内存：动态随机存取存储器64GB DDR5 4800兆赫

存储：固态硬盘3.2TB U.2 PCIe第4代

GPU ：Nvidia Vulcan PCIe H100 80GB

2、A800工作站常用配置

CPU：Intel 8358P 2.6G 11.2UFI 48M 32C 240W

内存：DDR4 3200 64G *32

数据盘：960G 2.5 SATA 6Gb R SSD

硬盘：3.84T 2.5-E4x4R SSD

网络：双口10G光纤网卡（含模块）

         双口25G SFP28无模块光纤网卡（MCX512A-ADAT )

GPU：HV HGX A800 8-GPU 8OGB 

3、A100工作站常用配置

CPU：Intel Xeon Platinum 8358P_2.60 GHz_32C 64T_230W

RAM：64GB DDR4 RDIMM服务器内存

SSD1：480GB 2.5英寸SATA固态硬盘

SSD2：3.84TB 2.5英寸NVMe固态硬盘

GPU：NVIDIA TESLA A100 80G SXM

网卡1：100G 双口网卡IB 迈络思

网卡2：25G CX5双口网卡

4、H800工作站常用配置

CPU：Intel Xeon Platinum 8468 Processor,48C64T,105M Cache 2.1GHz,350W

内存 ：64GB 3200MHz RECC DDR4 DIMM

系统硬盘：intel D7-P5620 3.2T NVMe PCle4.0x4 3DTLCU.2 15mm 3DWPD

GPU：NVIDIA Tesla H800 -80GB HBM2

GPU网络：NVIDIA 900-9x766-003-SQO PCle 1-Port IB 400 OSFP Gen5

存储网络 ：双端口 200GbE IB

网卡 ：25G网络接口卡 双端口