最近在做搜索的查询日志的统计分析，对每一条查询统计日志，我将其解析出来后以特定字段格式存在mongodb中，定时调度做些统计分析。其中有个需求是，统计某个时间段（每天、每周、每月）各个query的查询次数，展示上就是热门查询query了。考虑到处理的数据量不会很大，解决方法也可以简单来之。我现在使用的方法就是mongodb的MapReduce功能，其实这个需求也可以认为是个group操作，而mongodb的group功能就是基于MapReduce的，但group对结果集的大小是有限制的。本文就针对一个示例介绍一下mongodb MapReduce功能。
语法介绍MapReduce是mongodb中的一个Command，它的语法格式如下：
db.runCommand(
对于该Command，必有的3个参数我就不解释了。对于可选参数，这里简要说明如下：
(1) query是很常用的，它用来在map阶段过滤查询条件的以限定MapReduce操作的记录范围。
(2)
和query相关的还有sort和limit，我起初以为它俩是用在reduce阶段，实际上和query一起用在map阶段。
(3)
mongodb默认是创建一个临时的collection存储MapReduce结果，当客户端连接关闭或者显示使用collection.drop()，这个临时的collection会被删除掉。这也就说，默认的keeptemp是false，如果keeptemp为true，那么结果collection就是永久的。当然，生成的collection名称并不友好，所以可以指定out表明永久存储的collection的名称（这时不需要再指定keeptemp）。当指定out时，并不是将执行结果直接存储到out，而是同样到临时collection，之后如果out存在则drop掉，最后rename临时collection为out。
(4) finalize：当MapReduce完成时应用到所有结果上，通常不怎么使用。
(5) verbose：提供执行时间的统计信息。
执行结果的格式如下：
更常用的MapReduce命令的helper是：
db.collection.mapReduce(mapfunction,reducefunction[,options]);map函数的定义如下，map函数内使用this来操作当前行表示的对象，并且需要使用emit(key,value)方法来向reduce提供参数：
function map(void) -> voidreduce函数定义如下，reduce的key就是emit(key,value)的key，value_array是同个key对应的多个value数组：
function reduce(key, value_array) -> valueMapReduce得到的collection的格式是“_id”:key,”value”:。
应用示例这里给出一个假想的无意义的示例，主要是为了说明mongodb MapReduce的使用。每条记录的schema是“query”:,”cnt”:,”year”:,”month”=>。这个schema的cnt是不需要的，因为每条查询query的cnt都是1,但这里想要稍微复杂一些条件。下面是可在mongodb shell中执行的MapReduce脚本。
map = function() emit(this.query, this.cnt);;执行结果如下：
{
对于”result”,它是生成的临时collection名称，这个名称的命名规则是：”tmp.mr.mapreduce_”+time(0)+”_”+(jobNumber++)
执行db[res.result].find()得到：
和JS脚本一样，mongodb Java客户端提供了两个MapReduce接口，分别是：
public MapReduceOutput mapReduce( String map , String reduce , String outputCollection , DBObject query );MapReduceOutput实现如下：
public class MapReduceOutput {
所以，可以调用MapReduceOutput.results()得到DBCursor做后续处理，比如在我的应用场景里，根据value值做降序排序并取limit
1000以得到最热门的一些query。
由于JavaScript引擎设计上的限制，当前的mongodb
MapReduce还只是单线程执行，mongodb也在计划解决这个问题。如果需要多线程处理，可以考虑shard或者在客户端代码控制处理。
京公网安备 11010802040832号 | 京ICP备19059560号-6 