LeNet-5
Yann LeCun 在1998年的文章《Gradient-Based Learning Applied to Document Recognition》是卷积神经网络的开山之作。在文章中，他提出了LeNet-5模型。接下来我会介绍一下LeNet-5。
| flow | fliter | output |
|---|---|---|
| 输入层 | 32 32 1 | |
| C1（卷积层） | 5 5 | 28 28 6 |
| S2(下采样层) | 2 2 | 14 14 6 |
| C3(卷积层层) | 5 5 | 10 10 16 |
| S4(下采样层) | 2 2 | 5 5 16 |
| C5(卷积层层) | 5 5 | 1 1 120 |
| F6(全连接层) | 84 | |
| (输出层) | 10 |
在C3层中，作者没有把整个S2的特征图与C3连接，导致可调的系数只有1516.连接的方式如下：
S2-C3
作者给出解释：
1.控制连接数在一个合理的范围
2.打破网络的对称性
参考：http://www.dengfanxin.cn/wp-content/uploads/2016/03/1998Lecun.pdf
