是否有任何多核开发NoSQL系统？

我从昨天开始玩MongoDB并且非常喜欢它.我正在尝试导入大量数据(20亿行)并对其进行索引,但它似乎没有使用我的系统所具有的8个核心,导入正常率(60000记录/秒).我只能想象在这个集合中索引两列可能需要多长时间.是否有任何MondoDB类型的数据库利用CPU的多核特性？

如果MongoDB有一个致命弱点,那就是它只支持单线程写入和单线程映射减少.

与往常一样,这里有一些权衡.单线程写入是避免锁定问题和最小化开销的最简单方法.以同样的方式,多线程map-reduced是锁定数据的好方法.因此,生产系统上的单线程映射减少可能更容易,更安全.

但是,你不是没有工具.MongoDB将为每个实例提供一个写入线程.因此,如果您对MongoDB进行分片,那么您将为每个分片获得一个写入线程.

如果你想要20亿行的多个索引,你还是要看看分片.这里有一些快速数学:MongoID是12个字节.MongoID的索引是2B*12字节= 22GB +.如果你现在想要再添加两个索引(即使只是两个4字节整数),我们每个人都在谈论7.5GB.

所以在2B行,你说的是索引超过37GB(最小).在大多数8核服务器上,这意味着您甚至无法将索引保留在内存中,更不用说任何数据了.

因此,如果您想要在这里表现出色,那么您将需要开始查看分片.只是基于一般数字.对于FWIW,MySQL将不再擅长处理2B文档.有了那么多数据,你真的希望有多台服务器来跟上负载.