增加或减少添加神经元或重量的学习率？

我有一个卷积神经网络,我修改了它的架构.我没有时间重新训练并执行交叉验证(对最佳参数进行网格搜索).我想直观地调整学习率.

如果符合以下条件,我是否应该提高或降低我的RMS(基于SGD)优化器的学习率:

我在完全连接的层中添加了更多的神经元？

在卷积神经网络上,我在完全连接之前删除了一个子采样(平均或最大池)层,并且增加了该特征映射和softmax输出之间的完全连接单元的数量(以便有更多的权重连接到顶部完全连接的神经元)？

Amir.. 11

添加更多层/神经元会增加过度拟合的可能性.因此,如果随着时间的推移降低学习率会更好.删除子采样层也会增加参数的数量,并再次增加过度拟合的机会.强烈建议,至少通过实证结果证明,子采样层可以帮助模型更好地学习.所以避免删除它们.

另外,我建议您通过裁剪图像生成更多示例,并使用这些裁剪版本训练模型.这作为正则化器有助于模型学习更好的数据分布.然后,您还可以增加层/神经元的数量,减少过度拟合的风险.

1> Amir..：

---

添加更多层/神经元会增加过度拟合的可能性.因此,如果随着时间的推移降低学习率会更好.删除子采样层也会增加参数的数量,并再次增加过度拟合的机会.强烈建议,至少通过实证结果证明,子采样层可以帮助模型更好地学习.所以避免删除它们.

另外,我建议您通过裁剪图像生成更多示例,并使用这些裁剪版本训练模型.这作为正则化器有助于模型学习更好的数据分布.然后,您还可以增加层/神经元的数量,减少过度拟合的风险.

---

为什么过度拟合的可能性更高(由于参数更多)意味着你应该随着时间的推移降低学习率？如何降低学习率有助于解决过度拟合问题？

---

据我所知,正如(我认为)@Peter所建议的那样,随着时间的推移降低学习率只会有助于确保良好的收敛速度(在开始时收敛速度更快,在以后的迭代中不会发散).但是,它不会避免过度拟合.我可能错了.

---

@Amir这是什么来源？这是声明"参数值的巨大变化可能导致过度拟合",我对此持怀疑态度/不理解.