什么是 QPU? 量子处理单元(QPU)是量子计算机的“大脑”。它利用电子或光子等粒子的行为来进行特定类型的计算,其速度远快于当今计算机的处理器。 QPU 依靠叠加(superposition)等行为。量子力学这门相对较新的物理学分支将叠加描述为单个粒子同时处于多种状态的能力。 而 CPU、GPU 和 DPU 都是将经典物理学原理应用于电流,这也是为什么当今的系统被称为经典计算机。 QPU 可以推动密码学、量子模拟和机器学习的发展并解决 阅读全文 → 2022-12-12
深度学习网络不收敛的原因有哪些? 很多同学会发现,为什么我训练网络的时候loss一直居高不下或者准确度时高时低,震荡趋势,一会到11,一会又0.1,不收敛。 又不知如 阅读全文 → 2022-12-12
高性能计算ChatGPT能否取代Google、百度等传统搜索引擎? 蓝海大脑深度学习液冷事业部研究人员表示: 为什么说目前形态的chatGPT还不能取代搜索引擎呢?主要有三点原因: 首先,对于不少知识类型的问题,chatGPT会给出看上去很有道理,但是事实上是错误答案的内容(参考上图的例子(from@GordonLee),ChatGPT的回答看着胸有成竹,像我这么没文化的基本看了就信了它,回头查了下这首词里竟然没这两句),考虑到对于很多问题它又能回答得很好,这将会给用户造成困扰:如果我对我提的问题确实不知道正确答案,那我是该相信ChatGPT的结果还是不该相信呢? 阅读全文 → 2022-12-11
如何评价OpenAI的超级对话模型高性能计算ChatGPT? 蓝海大脑高性能计算液冷服务器研究人员表示: 先从Jason Wei的这条推开始。现如今还有很多old-time NLPers停留在BERT时代,思考BERT训练的LM能做的一些任务,而他自己很少看到新加入的NLPers有这个问题。从我个人的理解,他这里说的new-joiners,大概指的是在GPT3出现之后加入到NLP领域并进行探索的人,当然包括他自己。 而从这个角度,国内的情况更为夸张。首先,GPT3的API需要收费,并且国内IP是没法直接访问的,我个人也和很多国内NLPers进行了交流,大家对 阅读全文 → 2022-12-11
怎么训练高性能计算ChatGPT? 在“人工标注数据+强化学习”框架下,具体而言,ChatGPT的训练过程分为以下三个阶段: 第一阶段:冷启动阶段的监督策略模型。靠GPT 3.5本身,尽管它很强,但是它很难理解人类不同类型指令中蕴含的不同意图,也很难判断生成内容是否是高质量的结果。为了让GPT 3.5初步具备理解指令中蕴含的意图,首先会从测试用户提交的prompt(就是指令或问题)中随机抽取一批,靠专业的标注人员,给出指定prompt的高质量答案,然后用这些人工标注好的 阅读全文 → 2022-12-11
高性能计算ChatGPT的技术原理是什么? 整体技术路线上,ChatGPT在效果强大的GPT 3.5大规模语言模型(LLM,Large Language Model)基础上,引入“人工标注数据+强化学习”(RLHF,Reinforcement Learning from Human Feedback ,这里的人工反馈其实就是人工标注数据)来不断Fine-tune预训练语言模型,主要目的是让LLM模型学会理解人类的命令指令的含义(比如给我写一段小作文生成类问题、知识回答类问题、头脑风暴类问题等不同类型的命令) 阅读全文 → 2022-12-11