有些GAN会选择在Generator网络的前几层用Instance Normalization来代替Batch Normalization，有paper提到前者可以有效避免不同训练数据直接的对比度差异

基本上Instance Normalization跟Batch Normalization的表现差不多，在某些情况下InstanceNorm比较好，有些情况下BatchNorm比较好。在GaoGAN这篇论文里面也测试过把BatchNorm换成InstanceNorm，一样可以把在Instance Normalization有γ跟β，我们可以做spatial normalization。在GaoGAN的测试数据集上面里BatchNorm比较好，那InstanceNorm它还有一个好处就是可以做一些style transport task，所以在某些style transport里InstanceNorm用的比较多。