1.气候预测：借助超级计算机预测气候变化，从而减轻气候变化给人类带来的破坏。
2.交通业：超级计算机可用来认识和改进汽车、飞机或轮船等交通工具的空气流体动力学、燃料消耗、结构设计、防撞性，并帮助提高乘坐者舒适度、减少噪音等，所有这些都具有潜在的经济和安全收益。
3.生物信息学和计算生物学：生物学已经显示出巨大的计算需求，超级计算机将帮助寻找疾病治疗的革命性方法。
4.社会健康与安全：比如，污染、灾难规划以及针对本地和国家基础设施进行的恐怖主义活动等。
5.地震：对地震的模拟能帮
阅读全文 → 2023-07-05
原因可以分为以下几点：
大语言模型火起来还没多久；
显存容量和算力是要匹配的，空有192GB显存，但是算力不足并无意义；
从2022年11月chatGPT火起来到现在，时间也不过才半年时间。你如果了解过产品设计或者项目管理的常识，半年时间是完全不足以迅速推出一款200GB显存的GPU上市。从项目立项，到确定具体的规格，再到设计产品，并且进行各种测试，最终上市的全流程研发时间至少在一年以上。
客观上讲，大语言模型形成全球范围的热潮，一定会带动对于显存容量的需求。英伟达未来显存容量的升
阅读全文 → 2023-07-04
如果是正确开启了并行计算，用了parfor之类的语句，负载上不去很可能是因为各worker负载不均衡，有的早就跑完围观了，有的还在吭哧吭哧跑。建议检查一下自己的代码是否会在某些情况下计算量爆炸，导致某个核心一直在工作。
阅读全文 → 2023-07-04
先overfit 再trade off，首先保证你的模型capacity能够过拟合，再尝试减小模型，各种正则化方法；
1、lr ，最重要的参数，一般nlp bert类模型在1e-5级别附近，warmup，衰减；cv类模型在1e-3级别附近，衰减；具体需要多尝试一下。
2、batch size 在表示学习，对比学习领域一般越大越好，显存不够上累计梯度，否则模型可能不收敛… 其他领域看情况；
3、dropout，现在大部分任务都需要使用预训练模型，要注意模型内部dropout ratio是一
阅读全文 → 2023-07-04
深度学习服务器显卡的正常工作温度通常在60-85摄氏度之间。不同的显卡型号和品牌可能有略微不同的工作温度范围，但一般来说，保持显卡温度在这个范围内是安全和正常的。
阅读全文 → 2023-07-03
主要还是看个人的具体需求和预算吧。
A100具有更高的计算能力和更大的显存容量，适合处理大规模的深度学习任务。如果进行大模型训练或者大型数据集处理的话，A100是个很好的选择。但是如果用3090的话块数如果够多的话也是可以实现想要的需求的。
阅读全文 → 2023-07-03
网络研讨会
了解更多
注册以接收 蓝海大脑 活动/网络研讨会邀请
地址：北京市海淀区东北旺南路29号蓝海中心
联系电话：010－82770520
联系邮箱：marketing@lanhy.cn
蓝海大脑 京ICP备18017748号-1