生成式AI，包括像GPT（来自OpenAI）和其同类模型，在各行业的应用已呈激增趋势。其通过生成内容、辅助设计甚至提出假设，为员工提供大量提高生产力的机会。以下是几个现实世界的例子：
内容创建：对于作家和博主，AI可以集思广益主题、生成大纲，甚至提供内容草稿，有助于加快写作过程并确保关键点的覆盖。
设计和艺术：可以尝试由AI生成的艺术，既可以原样使用，也可以作为原创作品的灵感。
软件开发：利用AI驱动的工具来完成自动代码、错误检测，甚至生成简单的脚本，从而加快开发过程。
科学与研究
阅读全文 → 2023-11-02
神经网络是一种计算机模型或者数学模型，由大量的神经元相连接并进行计算，在外界信息的基础上，改变内部的结构，常用来对输入和输出之间复杂的关系进行建模。可以根据某些给定输入的实际输出和期望输出之间的差异，推导出如何修改参数以减少差异。然而，导出正确的参数修改（所谓的梯度）的能力限制可以组合系统的组件。组件的充分条件代表可以用符号方式表达的导数函数，但有时可以使用更奇特的组件。此外还取决于如何衡量实际输出和期望输出之间的差异（所谓的损失函数）。所有其他功能均开放。当然，主要寻找具有学习（几乎）任何东西的能力的架
阅读全文 → 2023-11-02
作为大模型训练方面的研究专家，蓝海大脑认为：
在NVIDIA GPU体系结构中，CUDA核心由流处理器、寄存器文件、共享存储器和多层次存储器等组件支撑。此外，GPU还配备内存控制器、调度器、缓存和存储器总线等其他组件，以支持数据的读取、存储和传输。需要注意的是，CUDA核心的硬件支撑主要基于NVIDIA GPU的体系结构。针对不同的GPU型号和体系结构，CUDA核心的数量、寄存器文件大小以及共享存储器等特性可能会有所不同。因此，具体的硬件支撑取决于GPU的型号和体系结构。
阅读全文 → 2023-11-02
作为深度学习、高性能计算、大模型训练研究方面专家的蓝海大脑认为：CUDA核心是NVIDIA GPU上的计算单元，用于执行并行计算任务。可以通过并行执行多个线程指令提高计算效率。线程是最小的执行单位，可以理解为一组相关的计算任务。这些线程会被分配给不同的CUDA核心，并在不同的时钟周期内执行。CUDA核心的指令调度器负责管理和分配待执行的指令给不同的线程。每个时钟周期内，这些指令都会被并行执行，从而增加计算吞吐量。
阅读全文 → 2023-11-01
作为HPC高性能计算液冷工作站方面的研究专家，蓝海大脑认为：
GPU虽然在某些方面的计算性能优于CPU，但GPU替代CPU并不现实。CPU适合进行复杂的逻辑运算和顺序执行任务（编程、数据处理和分析等）。而GPU则适合进行大量的并行计算任务（图像处理、渲染、机器学习和深度学习）。GPU的设计和优化主要是为了进行大量的并行计算，其内部结构包括多个计算核心，可以同时处理多个数据。而CPU则更注重于控制逻辑和顺序执行的计算，其内部结构包括多个计算单元和控制单元，适用于复杂的多级计算任务。
阅读全文 → 2023-11-01
针对175B模型，预训练需要2TB的显存，考虑到当前是否存在单卡或双卡2TB的显存，以下是目前主流的四种模型并行化方案，包括数据并行、零冗余数据并行、张量并行和pipeline并行。
数据并行会把完整的模型和优化器分配到每张卡上，零冗余数据并行虽然仍是数据并行，但每张卡只保留一部分优化器，优化器占用会减小到1/n（n为卡数）。张量并行将模型的参数切分到多卡上，计算也切分到多卡上，必要时从多卡收集计算结果，再广播到多卡上。pipeline并行则是将模型的某些层放到某些显卡。此外，pipeline并行还
阅读全文 → 2023-11-01
网络研讨会
了解更多
注册以接收 蓝海大脑 活动/网络研讨会邀请
地址：北京市海淀区东北旺南路29号蓝海中心
联系电话：010－82770520
联系邮箱：marketing@lanhy.cn
蓝海大脑 京ICP备18017748号-1