机器学习中用来防止过拟合的方法有哪些？

借着这个话题，聊聊Dropout和DropConnect方法

我之前其实一直把Dropout想成了DropConnect方法，今天看了资料，终于是醒悟过来了

其实这两者也没有什么特殊的trick，只是细微的改动而已。

Dropout: 对被舍弃的单元进行误差反向传播计算时，仍要使用被舍弃之前的原始输出值。Dropout的概率通常会设置为50%，即单元输出值有50%的概率被设置为0

DropConnect: Dropout是把单元的输出值设置为0，而DropConnect是把一部分连接权值设置为0.使用Dropout时的训练误差要小于使用DropConnect时的，但是测试误差则要比使用 DropConnect时的要稍微高一些。