我们有一个包含2个副本集的集群,每个集合有3个服务器.单个集合被分片.我们还有一些我们每天使用的更多(8+)个系列.大部分数据都在分片集合中,其中包含近1亿条记录.
最近我们添加了获取100x之前获得的数据的要求,我们需要将其写入mongodb.已设置守护程序以执行使数据库保持最新所需的写入.该脚本每秒执行超过200次写入,大多数写入所有单独的集合.
由于写入量很大,我们无法为分析目的执行大量读取操作.接收客户端和服务器端的游标超时组合("未找到游标").
我们已尝试对读取执行限制/跳过方案,但问题仍然存在.解决这个问题的最佳方法是什么,因为我们需要大量的写入,少量但大量的读取?