
半监督一致性正则化为什么要softmax?
半监督一致性正则化方法的目标是在有标签数据和无标签数据的情况下,提高模型的泛化能力。在这个方法中,我们希望通过让具有相似特征的样本被映射到相似的隐空间表示来实现这个目标。
为了实现这一点,我们需要使用softmax函数来计算每个样本的权重分布。softmax函数可以将每个样本的特征向量转换为一个概率分布,使得具有相似特征的样本在隐空间中的距离更近,不相似的样本之间的距离更远。
具体来说,在半监督一致性正则化方法中,我们会利用有标签数据计算交叉熵损失,同时利用无标签数据计算一个一致性损失。而一致
阅读全文 → 2023-05-09