并非全部任务都可以用小模型替代，这取决于任务复杂度。以下是我们做过的 llm 拆分成部分小模型的例子:一个表格问答任务，用户对某表格数据进行简单提问，机器需要根据表格进行解答。该任务可以用一套 pipeline 完成:用户提问，这个表格有多少行？llm 进行 text2sql: select count(*) from mytable;再数据库执行以上 sql 语句llm 根据观测结果，进行总结并返回结果: 这个表格一共 66 行。可以将步骤2中的 llm 替换为 text2sql 小模型，可以将步骤 4
阅读全文 → 2023-06-29
以下是对PC集群（PC Farm）的一些建议：
首先PC集群的性能直接影响到游戏开发和测试的效率。因此，游戏公司应该尽可能地提高PC集群的硬件配置，例如CPU、GPU、内存等。这可以提高PC集群的性能，从而提高游戏开发和测试的效率。
其次由于PC集群需要连接到互联网上，因此网络安全非常重要。游戏公司应该加强PC集群的网络安全，例如加密通信、防火墙、入侵检测等。这可以防止黑客攻击，保护游戏公司的数据安全。
然后PC集群通常需要进行管理和维护，例如软件更新、故障排除等。游戏公
阅读全文 → 2023-06-28
1、需要考虑服务器的应用情景，例如遥感图像、生物信息、机器视觉、大数据等不同场景、科研方向和环境，必须考虑其应用情景等。
2、考虑客户自身应用群体和IT运维能力，针对BAT这类大企业而言，他们自己的经营能力较为强，这时候会挑选通用性的PCI-e服务器；而针对有些IT运维能力不那麼强的顾客，她们更关心数据及其数据标注等，大家称这类人为大数据工程师，挑选GPU服务器的规范也会各有不同。
3、考虑到配套设施应用软件和服务的使用价值。
4、考虑到总体GPU群集系统软件的完善水平及其工程项目高效率
阅读全文 → 2023-06-28
专家混合模型（Mixture-of-Experts layer，MoE），这种模型可以被认为是具有不同的子模型（或专家），每个子模型专门用于不同的输入。每一层中的专家由门控网络控制，该网络根据输入数据激活专家。对于每个标记（通常是一个单词或单词的一部分），门控网络选择最合适的专家来处理数据。
稀疏门控专家混合模型（Sparsely-Gated MoE），旨在实现条件计算（Conditional computation）在理论上的承诺，即神经网络的某些部分以每个样本为基础进行激活，作为一种显著增加模型
阅读全文 → 2023-06-27
retrieve-then-generate：类ChatGPT Retrieval Plugin的技术方案
核心：根据 输入query 检索本地/私有数据库/文档中的文档片段（检索可以是文本检索或者基于向量的检索），作为扩充的上下文 context，通过 prompt template 组合成一个完整的输入，继而调用模型生成response。
简版工作流：chunk -> index -> retrieve -> construct input -> LLM
推荐开源工具：
（1）
阅读全文 → 2023-06-27
如果说「从浅入深」理解 Transformer，逐渐要到深的那部分，我认为分三步：
第一步，了解 Transformer 出现之前的几个主流语言模型，包括 N 元文法（n-gram）、多层感知器（MLP）、卷积神经网（CNN）、循环神经网络（RNN）。
第二步，了解注意力机制（Attention Mechanism），然后基于第一部分对此前几大语言模型了解后，我们能更好地理解 Transformer 为什么会带来革命性的影响。
第三步，手动实现或精读一个 Transformer 的实现版
阅读全文 → 2023-06-27
网络研讨会
了解更多
注册以接收 蓝海大脑 活动/网络研讨会邀请
地址：北京市海淀区东北旺南路29号蓝海中心
联系电话：010－82770520
联系邮箱：marketing@lanhy.cn
蓝海大脑 京ICP备18017748号-1