神经网络加深反而变差,为什么一条捷径能帮上忙?

多加几层,模型连训练题都做得更差。用修照片和简单算式理解残差连接:保留输入、学习改动,以及这条捷径能解决什么、不能保证什么。

神经网络加深反而变差,为什么一条捷径能帮上忙?

神经网络结构图里常有一条弧线,绕过几层、直接接到后面。乍看上去,我会觉得它很像偷懒:既然花力气搭了这些层,为什么还要给数据留一条绕过去的路?

把问题倒过来就有意思了。一个模型已经能把事情做得不错,再加几层,至少应该能够保持原样。如果新增的层暂时没有贡献,让它们别添乱就行。

可“让它别添乱”,对一个需要靠训练学出参数的系统,并不是一句话那么简单。残差连接,就是把这件事写进结构里的一种办法。

先分清:考差了,还是连练习题都不会了

假设我们训练一个识别手绘图形的小模型,分辨圆、方块和三角形。这是用来说明问题的假设任务,不是一次真实实验。

浅一点的网络已经能认出不少图形。我们把它加深,期待后面的层提取更复杂的特征。结果却有两种可能:模型在训练图上认得更准,遇到新画法反而变差;或者它连反复练习过的训练图,都比原来认得差。

前一种现象会让人想到过拟合。后一种则要先问:这个更大的模型,有没有把训练问题解好?它拥有更多计算步骤,不等于优化器就更容易找到一组好参数。

ResNet 最初那篇论文展示的一个关键现象,就是普通网络加深后,训练错误也上升。作者由此讨论“退化”问题,而不是把结果简单归因于模型太大会过拟合。这里的退化指训练表现随深度增加而变差,不是模型用久了自己老化。

来源:Deep Residual Learning for Image Recognition,2015

我觉得区分这两张成绩单很有用。遇到“模型变大,结果却变差”,先把训练集和验证集的结果摊开,再决定是在找优化问题,还是在找泛化问题。只盯最后一个准确率,容易往完全不同的方向用力。

把原样传过去,也是一道要学的题

继续想象那个图形识别模型。假设前面的层已经算出一份不错的特征,我们在后面增加一个模块。

如果这个模块可以把输入原样输出,它至少有机会保住原来的结果。数学上,这叫恒等映射:输入是什么,输出还是什么。

但普通模块不会因为我们心里希望它“先别改”,就自动实现恒等映射。它里面可能有几次权重变换和非线性运算,初始参数也未必合适。原本已经有用的信息,要重新经过这些计算,才能到达后面。

像把一张已经修得不错的照片交给新的修图步骤。你只想让它调整一点色偏,但若它必须从输入重新生成整张结果,连本来正确的轮廓和亮度,都需要由这一步一起保留下来。

这个比喻只是在说“保留已有结果”的负担,真实网络中间传递的通常是一组特征,不一定是人能直接看的照片。我们也不能假设每一层都对应一种完整、人类可命名的功能。

用保留原稿、叠加修改层的场景说明“学改动”;它是理解机制的比喻,不是实际训练数据。

原图先留下,另学一份修改量

残差连接把任务改写了一下。输入记作 x,模块负责算出一份改动 F(x),最后把两者相加:

y = x + F(x)

输入沿恒等路线与残差分支分别传递,在加法处汇合;这是暂不包含激活和归一化位置的简化结构。

这是一种简化的残差块表达,先不放进具体模型里的归一化和激活位置。它最直观的性质是:如果这一块输出的改动为零,结果就等于输入。

拿一个标量玩具例子看。假设某个量现在是 8,希望这一步处理后成为 8.3。直接映射需要给出 8.3;残差分支给出 0.3,再与原来的 8 相加。下一个输入是 5,目标是 4.8,改动就可以是 -0.2。

所以“残差”不等于只会往上加,也不要求改动固定不变。加上负数就是减少;F 仍然可以是复杂的、依赖输入的函数。换一个输入,修改方向和大小都可以变。

如果一项任务本来就接近“保持大体不变,再做调整”,以输入为起点描述变化,可能更适合学习。修图时让背景基本保留,只修局部色差,就比每一步都要求重做整张照片更容易理解。

但不要把这个例子变成定律:真实网络不是总在做小修小补,残差也没有必须小于输入的限制。“只学改动”说明的是函数如何表达,并不保证每个输入上改动都很小,更不意味着模型只训练了几个参数。

另一个容易混淆的词是“误差”。训练最后有一个损失,用来衡量输出与目标的差距;块里面的 F(x) 则是一份中间表示的变化量。它不是直接拿最终答案减当前答案,也不是每层都有一张标准答案供它抄。

通常,整个网络仍然根据最终目标一起训练。某一块应该增强哪些特征、抑制哪些特征,由这项整体任务传回来的学习信号决定。

换一种写法,为什么可能影响学习

这里很容易冒出一个疑问:既然最后都能表达同一个函数,只是把式子拆成两项,为什么训练还会不同?

先看一个特别简单、反而能防止误解的例子。直接模型是 y = w × x,残差模型是 y = x + a × x。令 w = 1 + a,两者就完全一样。如果初始输出相同、使用相同的普通梯度下降设置,这个简单的参数平移本身,并不会凭空带来神奇优势。

也就是说,看到一个加号,就认定模型一定更好,是站不住的。残差连接的重要性,要放回有多层计算的网络中理解:主分支如何参数化,非线性放在哪里,初始化时输出是什么样,都会影响优化器要走的路。

再想想修图。假设我们希望某一步先保留画面,之后逐渐学会调整。让一组复杂的变换组合起来恰好保持原样,和让一条独立分支先给出很小的改动,是两种不同的参数要求。最终都能画出同一张图,不代表从当前参数出发找到它一样容易。

这也解释了为什么不能把“理论上存在一个不错的解”当作“训练一定能到那里”。训练通常没有机会把所有参数组合试一遍,而是根据当前位置的梯度逐步更新。存在好解、能否走近好解、需要花多少计算,是三件相关但不同的事。

还有一个细节值得保留:残差形式不自动等于残差分支从零开始。随机初始化、归一化和偏置都会影响初始输出。读到某个实现采用特殊初始化时,需要单独看它的具体做法,不能只凭结构图推断整个网络开局就是恒等函数。

对我来说,这个简单反例比“捷径让一切变容易”更有解释力。残差是一种有价值的结构选择,它的效果要由具体网络和实验来验证;公式帮助我们理解原因,不能替实验宣布结果。

那条捷径,改变了往回传的路

前向算结果时,输入有了一条直接参与相加的路线。反向计算梯度时,这条路线也有作用。

我们用一个只含一个变量、暂时没有其他运算的例子。普通函数 y = F(x) 对输入的变化有多敏感,由 F'(x) 决定。换成 y = x + F(x),这个敏感程度变成了 1 + F'(x)。

这里的 1 来自原样传递的 x。损失对 x 的梯度,也就多了一项能够经由恒等路线传回来的贡献,不再只靠残差分支里那一连串运算。

标量残差块的导数包含恒等路线贡献,但两项仍可能抵消;F′(x)=-1 是一个说明边界的反例。

为什么“一连串”值得在意?假设每一步局部变化都会被缩成原来的十分之一,连续三步就是千分之一。这是解释链式相乘的假设算式,不是深网络梯度的实测规律。实际计算涉及向量、矩阵和不同激活状态,远比这个例子复杂。

不过,它能说明一个困难:局部看不算极端的缩放,串起来也可能让前面的参数很难收到有效学习信号。残差结构引入相加的路径,改变了这种传播方式。

2016 年的后续论文专门研究恒等连接,以及相加之后的运算安排。它提醒我们,直通路线能否保持直接,取决于整块的具体结构,不能见到一根跨层连线,就把所有版本都当成同一种公式。

来源:Identity Mappings in Deep Residual Networks,2016

同样不能说,多了一个 1,梯度就永远不会消失。如果玩具例子里 F'(x) 恰好等于 -1,两项相加仍然为零。实际模型还可能有相加后的激活、投影和多层相互作用。更准确的理解是,它提供了有利于传播和优化的结构,而不是给训练发了一张必胜券。

两个数列,不能想加就加

上面的 x + F(x) 写起来很短,落到代码里却有个硬条件:两边必须能按预期的位置一一相加。

假设输入特征有四个位置,分支输出只有两个位置,把它们直接相加没有我们想要的意义。图像网络里也常会发生尺寸变小、通道数变多的情况。这个时候,捷径需要先把输入变成合适的形状。

一种做法是在捷径上使用投影,表达式就变成 P(x) + F(x)。P 负责对齐。这样仍然保留了跨过主分支的路线,但它已经不是完全不变的恒等映射,不能继续把它说成“原样传过去”。

Torchvision 的 ResNet 实现里,可以直接看到这个区别:先保存输入作为 identity,需要下采样时对它做变换,再与主分支结果相加;具体实现还会在相加之后使用激活函数。

来源:Torchvision ResNet 源码

因此,读结构图时我会顺着那条线看三件事:它从哪一层取输入;中途有没有变换;终点是相加、拼接,还是别的操作。两张图都有弧线,含义可能差得很远。相加是在同样的位置合并数值,拼接则是把两组内容并排放起来,输出形状与后续计算都可能不同。

有了残差,也别急着把网络堆到天上

如果准备亲手做个小实验,我会先固定数据、划分方式和训练设置,比较一个普通浅网络、一个普通深网络,再比较深度相近的残差网络。这样的安排至少能把“加深的影响”和“换连接方式的影响”分开一点。

三组都要看训练损失和验证结果,还要看训练花了多久。只说残差网络最终分数高,却没说明它多花多少计算,读者很难判断改善来自哪里。不同初始化会造成波动,也不该把一次幸运运行当成普遍规律。更稳妥的是保存每组设置和多次运行的结果,把分数变化与耗时一起比较。用于最后检验的数据也要留到最后,避免边看结果边改结构,把它悄悄变成另一份训练材料。

若普通深网络的训练损失明显下不去,而残差版本更容易下降,这与优化变容易的解释一致。若两者训练得都不错,但验证集差距很大,就还需要检查数据量、正则化和其他设置。残差连接并没有承诺消除过拟合。

还要把“跳过”这个名字从运行成本里拿开。普通残差块在前向时,主分支通常仍然会被计算,然后与捷径结果相加。画面上有一条近路,不意味着推理时自动选择近路、把那几层的计算省掉。是否能够动态跳层,是另外的设计。

学习率不合适、数据标签混乱、输入处理有错,也不会被一个加号自动修好。结构有帮助,训练系统的其他部分仍然需要正常工作。

现在再看那条弧线,我更愿意把它理解成一个明确的起点:已有的表示先留下,新的一块学习怎样改变它。网络要变深,不一定要让每一步承担更多重新构造的负担;有时,让“暂时不改”容易做到,才给真正有用的改变留出了空间。

评论