如何将多线程应用于反向传播神经网络训练？

对于我的大学项目,我正在创建一个神经网络,可以对信用卡交易是否具有欺诈性的可能性进行分类.我正在接受反向传播训练.我用Java写这个.我想应用多线程,因为我的电脑是四核i7.这让我花了几个小时的训练,看到我的大部分核心闲置.

但是,我如何将多线程应用于反向传播？Backprop通过网络向后调整错误来工作.必须先完成一层,然后才能继续.有什么方法可以修改我的程序来做多核背景吗？

首先不要使用反向传播.还有很多其他选择.我建议尝试RPROP(弹性传播).对你的反向传播算法来说,这不会有太大的修改.您无需指定学习率或动力.它几乎就像你对神经网络中的每个连接都有一个单独的,可变的学习率.

至于将多线程应用于反向传播.我刚刚写了一篇关于这个主题的文章.

http://www.heatonresearch.com/encog/mprop/compare.html

基本上我创建了许多线程并将训练数据分开,因此每个线程的数量几乎相等.我正在计算每个线程中的渐变,并在reduce步骤中求和.如何将梯度应用于权重取决于所使用的传播训练算法,但是权重更新是在关键部分中完成的.

当你有比训练样本更多的训练样本时,代码在多线程梯度计算中花费的时间比临界区域权重更新要多得多.

我在上面的链接中提供了一些性能结果.它确实加快了速度!