苹果的统一内存可以高达192GB，为什么NVIDIA不能推出一款200GB显存以上的GPU？

原因可以分为以下几点：

大语言模型火起来还没多久；

显存容量和算力是要匹配的，空有192GB显存，但是算力不足并无意义；

从2022年11月chatGPT火起来到现在，时间也不过才半年时间。你如果了解过产品设计或者项目管理的常识，半年时间是完全不足以迅速推出一款200GB显存的GPU上市。从项目立项，到确定具体的规格，再到设计产品，并且进行各种测试，最终上市的全流程研发时间至少在一年以上。

客观上讲，大语言模型形成全球范围的热潮，一定会带动对于显存容量的需求。英伟达未来显存容量的升级速度一定会提速。

过去之所以消费级显卡的显存容量升级较慢，根本原因是没有应用场景。8GB的消费级显卡用来打游戏足矣，加速一些视频剪辑也绰绰有余。更高的显存容量，只能服务于少量科研人员，而且大多都去买了专业卡专门应用。现在有了大语言模型，可以在本地部署一个开源的模型。有了对于显存的明确需求，未来一定会快速提升显存容量的。

其次，题主说的因为苹果有192GB的统一内存所以可以用于大语言模型的“训练”。这个认知是完全错误的。不要看了几个自媒体的视频，连基本概念分不清就乱下论断。

AI模型可以分为训练（train）、微调（fine-tune）和推理(inference)。简单来说，训练就是研发人员研发AI模型的过程，推理就是用户部署在设备上来用。从算力消耗上来说，是训练>>微调>推理，训练要比推理的算力消耗高至少3个数量级以上。

苹果有192GB内存，真正利好的是AI模型在本地的部署进行推理，而不是训练。

训练也不纯粹看一个显存容量大小，而是和芯片的算力高度相关的。因为实际训练的过程当中，将海量的数据切块成不同的batch size，然后送入显卡进行训练。显存大，意味着一次可以送进更大的数据块。但是芯片算力如果不足，单个数据块就需要更长的等待时间。

显存和算力，必须要相辅相成。在有限的产品成本内，两者应当是恰好在一个平衡点上。

现阶段英伟达的H100能够广泛用于各大厂商的真实模型训练，而不是只存在于几个自媒体玩具级别的视频里面，说明H100能够满足厂商的使用需要。