在回答它们的区别之前，先看看它们的共同点，它们的共同点是都可以归类为所谓的软件定义存储。在它们出现之前，存储软件都是跑在磁盘阵列这种专业的硬件之上的，依靠硬件来解决数据可靠性的问题，但 Ceph、HDFS 可以跑在通用服务器上，数据可靠性由软件本身保证，这是一个巨大的改变。它们的区别在于定位不一样。HDFS 是专门面向大数据设计的，针对大数据的业务特点，实现了 POSIX 标准的一个子集。Ceph 包含 3 个子系统，分别是文件存储 CephFS、块存储 R
阅读全文 → 2022-11-24
公有云厂商的数据打通基本都是通过对象存储来满足的。只要网络是通的，用户可以通过 SDK、FUSE、命令行工具等多种方式使用对象存储。如果需要进行数据同步和迁移，纯软件的方案有类似 rsync 的工具。数据量比较大的情况，百度智能云还可以提供一种叫月光宝盒的硬件，类似一个很大的移动硬盘，用户可以把数据拷贝进去，邮寄到百度智能云的机房，在百度内网完成数据的上传。更多的方法大家可以去 BOS 的官网了解。
阅读全文 → 2022-11-23
不同的存储系统有各自适用的场景，最重要的是调研清楚这个存储系统服务哪些业务，这些业务的访问模式是什么样的。例如，大数据业务顺序读写比较多，且多为大文件，所以它对存储的要求主要在吞吐方面。要满足吞吐的要求，就不一定需要很快的硬件，通过堆机械硬盘，同样可以达到很高的吞吐。再例如，如果你的业务访问元数据访问非常频繁，或者产生很多的随机小 I/O，这时候就需要考虑高速的硬件，软件架构也需要有针对性的优化。我们需要先从业务的访问模式了解它关注哪些方面的功能和性能，然后
阅读全文 → 2022-11-23
蓝海大脑深度学习液冷服务器研究人员表示：
所有的技术选型都离不开当年的大背景。存算一体架构本身在过去是非常棒的设计。当时的网络没有那么快，存算一体可以让计算和存储获得更好的亲和性，极大的降低了网络上的数据传输量开销。但随着数据量的爆炸式增长和网络速度的改善，存算一体架构的问题逐渐暴露出来了。首先，存储和计算对资源的需求不匹配，扩容时很容易导致其中一种资源的浪费。其次，网络速度的改善让数据传输变得很快，亲和性的重要性降低。第三，HDFS 本身的扩展性缺陷也暴露出来了，不能支撑上百亿文件。对象存储作为云
阅读全文 → 2022-11-23
事实上不仅仅是cuda英伟达从cuda里学到的最重要的一课，就是软硬件捆绑。
计算界cuda之所以厉害，不仅仅是因为它可以调用GPU计算，而是它可以调用GPU硬件加速。GPU计算 ≠ GPU硬件加速。这个道理或许很多人不知道。比如同样一个三线性插值，你在一个gpu数组上手写实现的版本，和当你把它转换为一种纹理内存textureObject后用cuda内置的textureSample函数来做，效率可能差好多倍。因为后者的三线性插值，你可以理解为是“电路板在做”。包括tensorCor
阅读全文 → 2022-11-23
将训练数据划分为训练集和验证集，80% 用于训练集，20% 用于验证集（训练集和验证集一定不能相交）；训练都时候每隔一定 Epoch 比较验证集但指标和训练集是否一致，如果不一致，并且变坏了，那么意味着过拟合。
阅读全文 → 2022-11-23
网络研讨会
了解更多
注册以接收 蓝海大脑 活动/网络研讨会邀请
地址：北京市海淀区东北旺南路29号蓝海中心
联系电话：010－82770520
联系邮箱：marketing@lanhy.cn
蓝海大脑 京ICP备18017748号-1