当前位置:  开发笔记 > 人工智能 > 正文

我们如何知道何时停止在预训练模型上训练模型?

如何解决《我们如何知道何时停止在预训练模型上训练模型?》经验,为你挑选了1个好方法。

我的道歉自我的问题以来听起来很愚蠢。但是我在深度学习和咖啡方面还很陌生。我们如何才能检测到需要多少次迭代才能在我们自己的数据集上微调预训练?例如,我为5个类的数据运行fcn32。何时可以通过查看训练阶段的损失和准确性来停止微调过程?

非常感谢



1> CindyG..:

您不应该查看培训阶段的损失或准确性来做到这一点。从理论上讲,训练精度应始终提高(也意味着训练损耗应始终减小),因为您对网络进行了训练以减少训练损耗。但是,高训练精度并不一定意味着高测试精度,这就是我们所说的过度拟合问题。因此,您需要找到的是测试集(或验证集,如果有的话)的准确性停止增加的点。您可以简单地通过首先指定相对较大的迭代次数来执行此操作,然后监视测试准确性或测试损失,如果测试准确性在连续N次迭代(或历元)中停止增加(或损失停止减少),则N可以是10或您指定的其他数字,然后停止训练过程。

推荐阅读
echo7111436
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有