当前位置:  开发笔记 > 运维 > 正文

在文件系统中存储大量文件

如何解决《在文件系统中存储大量文件》经验,为你挑选了1个好方法。

我有数百万个音频文件,基于GUId(http://en.wikipedia.org/wiki/Globally_Unique_Identifier)生成.如何将这些文件存储在文件系统中,以便我可以在同一文件系统中有效地添加更多文件,并可以有效地搜索特定文件.它也应该在未来可扩展.

文件基于GUId(唯一文件名)命名.

例如:

[1] 63f4c070-0ab2-102d-adcb-0015f22e2e5c

[2] ba7cd610-f268-102c-b5ac-0013d4a7a2d6

[3] d03cf036-0ab2-102d-adcb-0015f22e2e5c

[4] d3655a36-0ab3-102d-adcb-0015f22e2e5c

PL.发表你的看法.

PS:我已经完成了< 存储大量图像 >.我需要特定的数据结构/算法/逻辑,以便将来也可以扩展.

EDIT1:文件数量约为1-2百万,文件系统为ext3(CentOS).

谢谢,

纳文



1> sharptooth..:

这很容易 - 根据GUID值部分构建文件夹树.

例如,创建256个文件夹,每个文件夹以第一个字节命名,并仅存储具有以此字节开头的GUID的文件.如果在一个文件夹中仍有太多文件 - 在每个文件夹中为GUID的第二个字节执行相同操作.如果需要,添加更多级别.搜索文件会非常快.

通过选择每个级别使用的字节数,您可以有效地为场景选择树结构.

推荐阅读
小妖694_807
这个屌丝很懒,什么也没留下!
DevBox开发工具箱 | 专业的在线开发工具网站    京公网安备 11010802040832号  |  京ICP备19059560号-6
Copyright © 1998 - 2020 DevBox.CN. All Rights Reserved devBox.cn 开发工具箱 版权所有