我不太明白为什么sigmoid函数被认为比步进函数更有用(对于神经网络)...希望有人可以为我解释这个.提前致谢.
的(希维赛德)阶跃函数通常仅内有用单层感知器,早期型神经网络,可以在输入数据的情况下是用于分类线性可分.
然而,多层神经网络或多层感知器更受关注,因为它们是通用函数逼近器,并且它们能够区分不可线性分离的数据.
使用反向传播训练多层感知器.反向传播的要求是可区分的激活功能.这是因为反向传播在此函数上使用梯度下降来更新网络权重.
Heaviside阶跃函数在x = 0时是不可微分的,其导数在其他地方为0.这意味着梯度下降将无法在更新权重方面取得进展,反向传播将失败.
在乙状结肠或逻辑函数没有这个缺点,这解释了其作为神经网络领域内的激活功能实用性.
京公网安备 11010802040832号 | 京ICP备19059560号-6 