网络退化问题
ResNet深度152层
ResNet解决了网络退化的问题（网络变深后效果反而下降）
但是深度无限堆会过拟合
解决方法：引入残差模块（如下）
为什么能解决网络退化？
深层梯度回传顺畅
恒等映射这一路的梯度是1，把深层梯度注入底层，防止梯度消失。没有中间商层层盘剥。
类比其它机器学习模型
- 集成学习boosting，每一个弱分类器拟合“前面的模型与GT之差”。
- 长短时记忆神经网络LSTM的遗忘门。
- Relu激活函数。
传统线性结构网络难以拟合“恒等映射”·
- 什么都不做有时很重要。
- skip connection可以让模型自行选择要不要更新。
- 弥补了高度非线性造成的不可逆的信息损失。(MobileNet V2)
ResNet解决网络退化的机理
ResNet反向传播传回的梯度相关性好
网络加深，相邻像素回传回来的梯度相关性越来越低，最后接近白噪声。但相邻像素之间具有局部相关性，相邻像素的梯度也应该局部相关。相邻像素不想关的白噪声梯度只意味着随机扰动,并无拟合。
ResNet梯度相关性衰减从增加为卮°
保持了梯度相关性。
微信赞赏
支付宝赞赏