如何解决企业深度学习训练内存不够用的难题,实际效果如何?

虽然DRAM是现代计算机中最理想的存储介质,然而DRAM存在三个明显的缺点:
一、易失性
DRAM用于存储数据的单个存储单元(通常称之为Cell),由一个晶体管和一个电容组成,其中电容的电压高低不同来代表0和1,晶体管负责将电容与电路联通或者断开。因为电容的电量会不断减少导致电压降低,因此需要定期给电容充电来保持数据。如果系统断电,DRAM中的数据会丢失。
二、高成本
虽然相比深度学习液冷CPU内部高速缓存所使用的SRAM来说,DRAM的单位容量成本很低,但DRAM的绝对价格依然高昂。仅仅计算存储单元,每GiB DRAM就需要80亿晶体管和80亿电容,已经和某些16核心的CPU所用到的晶体管数量相近了。
三、低容量
因为DRAM需要使用大量的晶体管实现,很长一段时间,DRAM的存储密度只能依赖于半导体制程的提升来增加,容量增加困难。
即使近年来半导体芯片的堆叠技术逐渐成熟,但因为DRAM需要定期开关晶体管给电容充电,没有读写操作时也需要消耗一定电量并转换为热量,如果堆叠层数过多,功率超过散热能力会导致DRAM温度超出限制。因此目前DRAM的最大堆叠层数也只有4层。

蓝海大脑 京ICP备18017748号-1