2.1.8　WRN

WRN（Wide ResNet，宽 ResNet）（Zagoruyko & Komodakis,2016）对残差分支中的不同卷积层结构配置进行了实验，发现 ResNet的残差模块中使用的两层卷积的配置效果最好。此外，（Zagoruyko & Komodakis,2016）发现，虽然对 ResNet 加深可以获得更低的错误率，但是网络深度和错误率的关系不是线性的，网络深度越深，对错误率下降的边际收益越低。实验发现，对 ResNet 进行加宽而不是加深，可以更有效地提升准确率。

ResNet中的残差模块如图2-12(a)所示，BN和ReLU层在图2-12中没有画出。加宽指的是对残差模块的卷积使用更多的输入和输出通道数，如图2-12(b)所示，输入和输出通道数由原来的提升到了。WRN的命名方式为WRN--，表示该 WRN的层数为，通道数放大系数为。输入和输出通道数增多会使卷积层的参数量随之增多，为了缓解模型参数增多的同时带来的过拟合风险，WRN在两层卷积之间使用了随机失活，如图2-12(c)所示。实验发现，50层“矮胖型”的WRN的准确率可以超越 152 层“瘦高型”的ResNet，同时由于卷积操作并行性好，加宽比加深在计算上更加高效。

图2-12　ResNet和WRN 网络结构