当前位置:  开发笔记 > 编程语言 > 正文

并行检查md5文件

如何解决《并行检查md5文件》经验,为你挑选了1个好方法。

我有一个包含很多行的md5sum文件。我想使用GNU parallel来加速md5sum检查过程。在md5sum中,当没有文件输入时,它将从stdin中获取md5字符串。我尝试了这个:

cat checksums.md5 | parallel md5sum -c {}

但是得到这个错误:

md5sum 445350b414a8031d9dd6b1e68a6f2367 testing.gz: No such file or directory

如何并行进行md5sum检查?



1> Ole Tange..:

假设checksums.md5具有以下格式:

d41d8cd98f00b204e9800998ecf8427e  My file name

跑:

cat checksums.md5 | parallel --pipe -N1 md5sum -c

如果文件很小:-N100

如果那不能加快处理速度,请确保磁盘足够快:md5sum可以处理500 MB / s。iostat -dkx 1可以告诉您磁盘是否是瓶颈。

推荐阅读
云聪京初瑞子_617
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有