黑客 George Hotz 爆料 GPT-4 由 8 个 MoE 模型组成，真的吗？

专家混合模型（Mixture-of-Experts layer，MoE），这种模型可以被认为是具有不同的子模型（或专家），每个子模型专门用于不同的输入。每一层中的专家由门控网络控制，该网络根据输入数据激活专家。对于每个标记（通常是一个单词或单词的一部分），门控网络选择最合适的专家来处理数据。

稀疏门控专家混合模型（Sparsely-Gated MoE），旨在实现条件计算（Conditional computation）在理论上的承诺，即神经网络的某些部分以每个样本为基础进行激活，作为一种显著增加模型容量和能力而不必成比例增加计算量的方法。

稀疏门控 MoE，由多达数千个专家组成，每个专家都是一个简单的前馈（feed-forward）神经网络，以及一个可训练的门控网络，该网络选择专家的稀疏组合（sparse combination）来处理每个输入样本。网络的所有部分都通过反向传播联合训练。