我已经在python中构建了我的第一个神经网络,并且我一直在玩一些数据集; 到目前为止一切顺利!
关于具有多种结果的事件建模,我有一个简单的问题: -
假设我希望训练一个网络,告诉我每个跑步者赢得100米冲刺的概率.我会向网络提供有关每个跑步者的所有相关数据,输出数量将等于比赛中的跑步者数量.
我的问题是,使用sigmoid函数,我如何确保输出的总和等于1.0？网络会自然地学会这样做,还是我必须以某种方式明确地实现这一点？如果是这样,我将如何做到这一点？
非常感谢.
神经网络的输出将接近 1.我认为它实际上不会达到1.
实际上,您不需要查看哪个输出等于1.一旦您将网络训练到特定的错误级别,当您显示输入时,只需稍后查看输出中的最大输出.例如,假设您的输出图层显示以下输出:[0.0001, 0.00023, 0.0041, 0.99999412, 0.0012, 0.0002],那么赢得比赛的跑步者是4号跑步者.
所以,是的,您的网络将"学习"生成1,但它不会完全是1.这就是您在一定错误率内训练的原因.我最近创建了一个神经网络来识别手写数字,这就是我使用的方法.在我的输出图层中,我有一个包含10个组件的向量.第一个组件代表0,最后一个组件代表9.所以当我向网络提出一个4时,我希望输出矢量看起来像[0, 0, 0, 0, 1, 0, 0, 0, 0, 0].当然,这不是我得到的,但它是我训练网络提供的.因此,为了找到它是哪个数字,我只需检查哪个组件具有最高输出或分数.
现在在你的第二个问题中,我相信你在问网络如何学会提供正确的答案？为此,您需要为网络提供一些训练数据并对其进行训练,直到输出低于某个误差阈值.所以你需要的是一组包含输入和正确输出的数据.最初你的神经网络将设置随机权重(有一些算法可以帮助你选择更好的权重,以最大限度地减少训练时间,但这有点更高级).接下来,您需要一种方法来告诉神经网络从所提供的数据中学习.所以基本上你将数据提供给神经网络并提供输出,这很可能是错误的.然后将该数据与预期(正确)输出进行比较,并告诉神经网络更新其权重,使其更接近正确的答案.您一遍又一遍地执行此操作,直到错误低于某个阈值.
最简单的方法是实现随机反向传播算法.在此算法中,您可以计算神经网络的实际输出与预期输出之间的误差.然后,您将输出图层中的错误一直反向传播到隐藏图层的权重,随时调整权重.然后重复此过程,直到您计算的错误低于某个阈值.因此,在每一步中,您都越来越接近您的解决方案.
您可以使用此处描述的算法.有大量的数学,所以要做好准备!如果您想查看此算法实现的示例,您可以查看我在github上的这个Java代码.该代码也使用动量和简单形式的模拟退火,但标准的反向传播算法应该很容易辨别.关于反向传播的维基百科文章有一个链接到Python中反向传播算法的实现.
您可能不会立即理解该算法; 期望花一些时间来理解它并完成一些数学计算.我正在编码的时候,我用铅笔和纸坐下来,这就是我最终理解发生了什么的方式.
以下是一些可以帮助您更好地理解反向传播的资源:
学习过程:反向传播
错误反向传播
如果您想要更多资源,也可以在这里查看我的答案.
京公网安备 11010802040832号 | 京ICP备19059560号-6 