Cnn

前言 直接从 Deep Learning 概览跳到 ResNet 会有一点跳跃，因为 ResNet 不只是一个 CNN 结构，它还依赖正向传播、反向传播和梯度流这些训练机制。如果你还不熟悉“网络是函数复合”“损失如何反传到参数”这些概念，可以先看正向传播与反向传播：神经网络到底如何学习。 ResNet（Residual Network，残差网络）是经典视觉网络中绕不开的模型，因为它解决的不是“怎么设计一个更复杂的卷积层”，而是一个更基础的问题：网络变深以后，为什么反而更难训练？ 直觉上，深层网络至少不应该比浅层网络差。假设一个 20 层网络已经能学到不错的函数，那么 56 层网络完全可以让后面 36 层近似恒等映射，理论上应该复现 20 层网络的效果。但在 ResNet 论文之前，实验中经常观察到相反现象：网络加深后，训练误差也会上升。这不是单纯的过拟合，因为过拟合通常表现为训练误差低、测试误差高；这里的问题是训练集本身都拟合不好。 这个现象通常被称为退化问题（Degradation Problem）。ResNet 的核心贡献，就是用一种非常简单的结构改写了深层网络的优化目标。 先看普通网络在学什么 设某一组卷积层想学习的目标函数是： $$ H(x) $$这里的 $x$ 是输入特征图，$H(x)$ 是这几层网络最终应该输出的特征。普通卷积网络会直接让堆叠的层去拟合 $H(x)$。 ResNet 的想法是：不要直接学 $H(x)$，而是学习它和输入 $x$ 之间的差值： $$ F(x) = H(x) - x $$于是目标输出可以改写成： $$ H(x) = F(x) + x $$这个 $F(x)$ 就叫残差映射（Residual Mapping），而旁边那条把 $x$ 直接加回输出的路径，就是跳跃连接（Skip Connection） 或 Shortcut Connection。 flowchart LR x["输入 x"] --> block["普通卷积层堆叠"] block --> h["直接学习 H(x)"] 普通网络的压力在于：每一组层都必须直接学出目标映射 $H(x)$。而 ResNet 把这个任务拆成两部分：主分支只学习“相对输入还需要改什么”，shortcut 分支直接把输入送到输出端。 ...