手抄报 安全手抄报 手抄报内容 手抄报图片 英语手抄报 清明节手抄报 节约用水手抄报

深度学习中 dropout 和 batch normlization 可以减少过拟合,原理是什么

时间:2024-10-12 19:20:21

原理如下:

二者的机制是有差别的。过拟合的原因,就是使用了对问题而言过于复杂的表述,所以缓解过拟合的基本方法就是降低对问题表述的复杂度。

BN实现这一点的机制是尽量在一个更平滑的解子空间中寻找问题的解,强调的是处理问题的过程的平滑性,隐含的思路是更平滑的解的泛化能力更好,Dropout是强调的鲁棒性,即要求解对网络配置的扰动不敏感,隐含思路是更鲁棒的解泛化能力更好。

从这个机制看,Dropout对过拟合的控制机制实际上更直接更表面化更简单粗暴,而BN则要间接一点,但是更底层更本质。但是二者的机制有差别又有重叠,平滑和鲁棒二者常常是一致的,但又不完全一致,不能简单说哪个效果更好。

但从机制上看,BN的思想在统计上似乎应该更好一点,但是由于BN用于约束平滑性的手段本身并不完备,只是选用了一种控制模式,所以并不能完全体现其控制平滑性的思想,所以BN对泛化性能的实际影响也不是非常大。

深度学习中 dropout 和 batch normlization 可以减少过拟合,原理是什么

过拟合的定义就是指选择的模型所包含的参数过多(模型复杂度过大),导致这个模型对于已知数据的预测能力好,但是对未知数据的预测能力差。

dropout就是做剪枝,自然降低了模型复杂度减少了过拟合。

batch normlization一般来说是用来加速的和解决一些极端的梯度的情况,如果说强行说可以减少过拟合的话,大概就是引入了噪声,相当于做了数据增强(给数据加噪声)。

© 手抄报圈