今天看了一下FPN，看着画的图，也感觉到理论还是很容易让人理解，但是，细究的时候，却发现了一个自己不太懂的知识点，打卡一下学习的心得。
Skip Connection 就是一种跳跃式传递
- 又叫shortcut connection
- 其和普通的CNN的区别在于从输入源直接向输出源多连接了一条传递线
- 这是一种identity mapping，也就是所谓的恒等映射，用来进行残差计算
- 其效果是为了防止网络层数增加而导致的梯度弥散问题与退化问题
残差网络(ResNet)通过skip connection技巧， 使得梯度更容易地流动到浅层的网络当中去。残差网络的基本结构如下图：
基本的残差网络其实可以从另一个角度来理解：
残差网络单元其中可以分解成右图的形式，从图中可以看出，残差网络其实是由多种路径组合的一个网络，直白了说，残差网络其实是很多并行子网络的组合，整个残差网络其实相当于一个多人投票系统（Ensambling）。
如果把残差网络理解成一个Ensambling系统，那么网络的一部分就相当于一些投票的人，如果只是删除一个基本的残差单元，对最后的分类结果应该影响很小；而最后的分类错误率和删除的残差单元的个数成正比。