我正在编写一个神经网络类,并且遇到了两个我不理解的概念.谁能告诉我什么是bias和momentum现在和做什么
偏差是给予神经元的恒定输入.例如,在正常的前馈网络中,您可能有2个输入单元,2个隐藏单元和1个输出单元.除了来自输入单元的输入之外,恒定偏置值(假设为1)将进入隐藏和输出单元.
动量是在学习开始时用于加快学习的额外学习率.例如,学习错误通常最初非常大,因此您从高动量开始并更积极地调整权重.在学习期间,随着你的错误减少,动量也会减少,所以你学得更慢,但你不太可能超过目标.
京公网安备 11010802040832号 | 京ICP备19059560号-6 