Keras + Tensorflow:调试NaNs

这是一个关于如何在张量流图中找到Nan的第一次出现的一个很好的问题:

在向后传递中调试nans

答案非常有用,以下是代码:

train_op = ...
check_op = tf.add_check_numerics_ops()

sess = tf.Session()
sess.run([train_op, check_op])  # Runs training and checks for NaNs

显然,第一次遇到Nan时,同时运行训练和数字检查将导致错误报告.

我如何将其整合到Keras中？在文档中,我找不到任何看起来像这样的东西.

我也检查了代码.更新步骤在此处执行:https: //github.com/fchollet/keras/blob/master/keras/engine/training.py

有一个函数称为_make_train_function创建计算损失和应用更新的操作.这被称为训练网络.

我可以像这样更改代码(总是假设我们在tf后端运行):

check_op = tf.add_check_numerics_ops()

self.train_function = K.function(inputs, 
    [self.total_loss] + self.metrics_tensors + [check_op],
    updates=updates, name='train_function', **self._function_kwargs)

我目前正在尝试正确设置它,并不确定上面的代码是否真的有效.也许有一种更简单的方法？