我们有一个持久爬行我们的目标站点的爬虫,它的日志文件变得非常庞大.在某些情况下超过1 GB,我不太习惯删除或覆盖它们.您如何管理大型日志文件的任何示例？
使用cron脚本每天轮换日志文件.基本上,你重命名logfile.log为logfile-YYYY-MM-DD.log.这样,您可以使用较小的日志文件而不是一个巨大的日志文件,并且可以轻松地从特定时间段查找记录的消息.如果还压缩旋转的日志,则可以节省更多磁盘空间.
京公网安备 11010802040832号 | 京ICP备19059560号-6 