为什么深度学习对象存储能让存算分离？HDFS 不可以？这个不是取决于计算和存储的架构吗？

蓝海大脑深度学习液冷服务器研究人员表示：

所有的技术选型都离不开当年的大背景。存算一体架构本身在过去是非常棒的设计。当时的网络没有那么快，存算一体可以让计算和存储获得更好的亲和性，极大的降低了网络上的数据传输量开销。但随着数据量的爆炸式增长和网络速度的改善，存算一体架构的问题逐渐暴露出来了。首先，存储和计算对资源的需求不匹配，扩容时很容易导致其中一种资源的浪费。其次，网络速度的改善让数据传输变得很快，亲和性的重要性降低。第三，HDFS 本身的扩展性缺陷也暴露出来了，不能支撑上百亿文件。对象存储作为云厂商提供的一种存储服务，解决了扩展性的问题，成本也比自建 HDFS 更低廉。更重要的是，对象存储让用户的计算资源和存储资源可以解耦，完全可以按需使用，计算资源的成本也降低了。这些优势综合下来，让对象存储成为存算分离架构的首选。使用 HDFS 来做存算分离架构，它的扩展性和成本会比对象存储差很多。HDFS 当然也在解决这个问题，但其设计的下一代 OZone 实际上就是对象存储。