NVIDIA A100是一种高性能计算加速器，它的算力可以通过浮点运算每秒测量来衡量。具体而言，A100在FP32精度下的算力为19.5 TFLOPS（万亿次浮点运算每秒），在FP64精度下的算力为9.7 TFLOPS。
因此，1万个A100的算力在FP32精度下为：
19.5 TFLOPS × 10,000 = 195 PFLOPS（千万亿次浮点运算每秒）
在FP64精度下的算力为：
9.7 TFLOPS × 10,000 = 97 PFLOPS（千万亿次浮点运算每秒）
需要注意的是，这只是理
阅读全文 → 2023-07-28
区别对比：a100和a800
1. 外观设计
a100和a800外观设计方面最大的不同是大小和重量。a100比a800轻巧，更易于携带，适合长时间使用。而a800更为沉重，并且更大，适合需要更高视野和更广角度照片的用户。
2. 拍照效果
a100和a800在拍摄效果方面也有显著的不同。a100光圈大，具有更高的像素和更高的对比度，能够拍摄更真实和生动的照片。而a800则拥有更高分辨率的像素和更广阔的视角，适合拍摄风景和建筑物。
3. 硬件性能
在硬件方面，a800比a100更强大，它拥有更快的
阅读全文 → 2023-07-28
H100 和 A100 是两种不同的显卡模型，针对不同的应用场景进行优化。FLOPS (Floating Point Operations Per Second) 是衡量显卡性能的一个指标，表示每秒钟可以执行的浮点运算次数。
H100 是一款面向数据中心的显卡，主要用于高性能计算任务，如科学计算、数值模拟等。它采用了高密度的GPU架构，每个芯片上有大量的计算单元，可以并行执行大规模的计算任务。然而，由于这些计算单元特别设计用于科学计算场景，对于某些特定类型的计算负载，如深度学习中的矩阵操作，H100 可
阅读全文 → 2023-07-27
CPU和GPU之所以大不相同，是由于其设计目标的不同，它们分别针对了两种不同的应用场景。CPU需要很强的通用性来处理各种不同的数据类型，同时又要逻辑判断又会引入大量的分支跳转和中断的处理。这些都使得CPU的内部结构异常复杂。而GPU面对的则是类型高度统一的、相互无依赖的大规模数据和不需要被打断的纯净的计算环境。
阅读全文 → 2023-07-27
在模型训练时，一般会先将文本转换为token，作为模型的输入。相比单词，token通常更短一些。以GPT-3模型为例，一个token相当于0.75个单词，而对于中文而言，一个汉字通常对应两个token。
当前大型语言模型（LLM）的token数量通常在数万级别。例如，GPT-3模型有50257个token，而LLaMA模型则有32000个token。
阅读全文 → 2023-07-27
如果想进行预训练模型的训练，那么确实需要大量的数据居。虽然对数据质量的要求不高，但通常还是需要进行数据清洗，以减少垃圾数据的影响。
然而，如果想进行监督微调、建立模型，或进行强化学习的阶段的训练，那么并不需要大量的数据。尤其是在监督微调阶段，从图1中我们可以看到，其数据量范围是10到100K。t也就是说，只需要几十个或几百个高质量的数据，就可以对模型进行微调并取得不错的效果。显然，在监督微调阶段，数数据质量比数据量更重要。
这里所说的高质量数据，不仅指问题的答案要准确，更需要要注意的是，你的微
阅读全文 → 2023-07-26
网络研讨会
了解更多
注册以接收 蓝海大脑 活动/网络研讨会邀请
地址：北京市海淀区东北旺南路29号蓝海中心
联系电话：010－82770520
联系邮箱：marketing@lanhy.cn
蓝海大脑 京ICP备18017748号-1