请问英伟达 NVIDIA Tensor Core与structure sparse对于科学计算是否有用? Tensor Core对FP64(就是double的),对于很多用到double的矩阵乘的科学计算程序肯定有直接的帮助,甚至是像FP32、FP16这样的Tensor Core,都有一些工作尝试把他们用到科学计算的场所。还有一个大的前提是这些Tensor Core都是比较适用于把计算变成矩阵计算的操作里面去。对于结构化稀疏,因为它针对的是深度学习、深度神经网络这样的inference场合,不仅仅是说它对于这种稀疏的几个结构,它是有一个非常确定的要求,另外 阅读全文 → 2022-10-11
高性能边缘端数据传输安全保障措施是什么?网关的通讯方式有哪些?有专门的一个服务器处理吗,还是只是高算力的嵌入式设备? 我认为如果抛开Jeston而言,一个边缘端的数据传输安全保障有多个维度,第一个是从硬件上,我们的硬件设备上会有一些安全保障措施和安全机制。安全机制包括设备本身的安全,例如我们可以增加一些加密的芯片等做一些数据安全的保密传输。第二个是在软件层面上,我们的SDK里有一些数据保密传输和保密加密的开发套件,大家可以关注下SDK。在整个数据传输过程中,不仅仅是我们的边缘端设备,包括我们的通讯设备以及服务器等,其实是一连串的。从end-to-end来看,信息从采集传输到最终的处理,每 阅读全文 → 2022-10-11
联邦式学习隐私保护方案如何解决中心化芯片提供商做恶的风险? 目前各大CPU芯片厂商都有相关的加密计算保护技术,比如TEE,据了解已经有某些厂商选择intel的SGX作为联邦学习中多方安全计算的实现方案。TEE方案类似于安全0能有一些可能行,但是纳米级别的芯片,基本上是没什么办法分析的。并且,即使芯片厂商不故意作恶,硬件漏洞出问题的可能性也很大,实际上已经出过不少类似问题。但是基于通用硬件芯片来通过软件的方式来实现相关的安全计算算法,则可有效的避免这些问题,当然,缺点就是性能远不及芯片厂商的解决方案。 阅读全文 → 2022-10-10
如何优化神经网络或者软件架构来提高硬件的效率(英伟达芯片功耗高,效率就不会很突出)? 按照我的理解,您的问题应该是在推理端。在推理端,我们现在有Tegra,它的功耗从十几W到二十多W,效率也比较高。我觉得您说的不是训练平台,因为训练平台在数据中心应该是以计算为主,从功耗上来说,整体的计算体系的功耗要远小于同样计算能力GPU计算集群的功耗。因此如果在训练端,应该不会存在这个问题。对于推理端,您可以用低功耗的Tegra,它会帮助你快速地达到你的需求。 阅读全文 → 2022-10-10
GAN是否可以用来生成训练数据?可以的话,有没有具体案例?如果不可以,又是为什么? 如果给你一堆数据集,比如一堆人脸的照片,用GAN生成人脸图片,再用GAN生成的人脸图片来训练network,通常会有好的效果。因为是从真实的数据去学distribution,学到最好的是原来的distribution,本身就有人脸的训练集,不太清楚你为什么再去学distribution。在某些情况下GAN还蛮适合来做生成数据,比如你有两个domain,而且里面都有image,利用label的data,可以学着怎么把影像从一个domain转换成另一个domain,la 阅读全文 → 2022-10-10
深度学习需要大量的样本,当识别效果不佳时,如何判断是样本问题和还是算法问题? 这个问题也是目前经常存在的问题,由于在训练的过程当中,无法知道是数据集不合适还是算法不合适。我认为,这个时候不需要花太多精力去用一个不能定义的标准来判断另外一个不能定义的物体,而最好的办法就是能够带着你的数据去找一个模型进行迁移式训练的判断。比如在行业中,你了解到谁跟你做差不多的模型,你可以把这个模型拿过来,再把你的数据丢进去,如果这个数据是收敛的,那一定是算法问题,如果这个数据跑不通,那肯定是数据集的问题。 阅读全文 → 2022-10-10