复制到大型目录时,AWS S3 Sync非常慢

使用AWS-CLI将数据同步到S3中的空目录时,几乎是即时的.但是,当同步到一个大目录(几百万个文件夹)时,甚至需要很长时间才能开始上传/同步文件.

有替代方法吗？看起来它试图在同步之前考虑S3目录中的所有文件 - 我不需要它,并且在没有事先检查的情况下上传数据就没问题了.

该sync命令将需要枚举存储桶中的所有文件,以确定存储桶中是否已存在本地文件,以及它是否与本地文件相同.存储桶中的文档越多,所需的时间就越长.

如果您不需要此sync行为,只需使用递归复制命令,如:

aws s3 cp --recursive . s3://mybucket/

这应该将当前目录中的所有本地文件复制到S3中的存储桶.