英伟达(NVIDIA)近期上攻$1000的高位后，多空分歧开始剧烈，不少人拿出当年互联网泡沫时Cisco的尖峰图做对比。您怎么看？

但在大多数情况下，用旧数据来短期预测股市是意义不大的：因为变量太多，情况完全复刻的概率极低。但是，分析科技股一定是要分析其未来数十年的发展逻辑，而且这个逻辑是相通的。

阅读全文 → 2024-03-17

RWKV和Mamba等recurrence类的模型真的能够击败transformer吗？

RWKV（Read-Write-Key-Value）和Mamba是基于递归（recurrence）的模型架构，提出为了解决传统Transformer模型在处理长序列时的一些问题如计算资源的大量需求和效率低下。递归型模型通常在计算上更加高效，具有处理长序列的潜力，因为它们能够维持一个持续状态，使得可以仅处理新数据而无需重新处理整个序列。

能否“击败”Transformer模型，需要根据不同的标准和应用场景来评估。

性能：如果从纯粹的性能，如准确性或任务完成度来看，Transformer仍然是目前

阅读全文 → 2024-03-17

GPU上训练模型出现driver shutting down问题，该如何解决?

从的错误日志来看，训练过程在结束时遇到了一个CUDA错误，导致程序崩溃。错误信息显示"CUDA error: driver shutting down"，这可能是由于以下几个原因：

GPU内存不足：模型可能太大，或者批量大小可能太大，导致GPU内存不足。可以尝试减小模型大小或批量大小。
CUDA驱动程序问题：CUDA驱动程序可能存在问题。可以尝试更新CUDA驱动程序到最新版本。
硬件问题：GPU可能存在硬件问题。如果可能的话，可以尝试在另一块GPU上运行程序，看看问题是否仍然存在。
此外，

阅读全文 → 2024-03-10

算力与大科技迈入新篇章意味着什么？

随着科技的飞速发展，算力与大科技已成为推动社会进步的重要力量。目前，这一领域已迈入第二环节，硅光、液冷和HBM三大方向崭露头角，成为新的主流趋势。面对这一重大变革，我们必须全力以赴，把握机遇，共创辉煌。

硅光技术作为现代通信的基石，其独特的优势在于能够实现高速、低损耗的数据传输。随着5G、云计算等技术的普及，硅光技术的需求将持续增长，有望引领新一轮的科技浪潮。

液冷技术则是解决高性能计算设备散热问题的关键。随着计算能力的提升，设备的散热问题日益突出。液冷技术以其高效、节能的特点

阅读全文 → 2024-03-10

摩尔线程有没有机会追上英伟达？

摩尔线程当前所面临的挑战主要包括代工问题和驱动适配问题。解决代工问题需要国产工艺的发展，而针对驱动适配的问题，虽然摩尔线程已开始自研，但进度尚不明确。从目前的表现来看，原神在1080p和4k分辨率下的帧率差距不大，可能是由调度问题或硬件设计瓶颈所致。预计下一代产品能够在一定程度上缓解这些问题。个人认为，下一代产品有望保持4k分辨率下原神的全高画质，并达到类似于s80水平的规模。然而，由于成本因素，摩尔线程很难在价格和成本上占据优势，需要依靠其他方式获得利润。目前，国内GPU领域的佼佼者是华为，其马良910

阅读全文 → 2024-03-06

CPU与GPU之间是如何通信的？

在GPU通信互联领域，从最初的SLI到如今的NVLink，经历了重大的技术进步和演变。SLI作为最早出现的多GPU连接方案，虽然在游戏领域受到了广泛应用，但由于限制较多，难以满足当今计算需求的挑战。随着计算领域的快速发展，特别是人工智能、高性能计算等领域的兴起，需要更强大、更灵活的多GPU解决方案。

NVLink的出现填补了这一空白。作为SLI的进化版，NVLink不仅提供了更高的带宽和更低的延迟，还支持网状拓扑和统一内存的概念，使得GPU之间的数据共享更加高效。这对于处理大型数据集和进行复杂的并行