时间:2014-10-17 09:23:15 来源: 复制分享
本文主要是介绍MapReduce在MongoDB上的使用,它与sql的分组、聚集类似,也是先map分组,再用reduce统计,最后还可选性地使用finalize调整最终结果。好了,来介绍下我所使用版本是MongoDB2.4.5,然后我还使用了MongoVUE(一款非常不错的图形化mongodb管理工具)帮助我协同操作。
1、原始数据,待使用的Collection中有三条doc:
而且它们的数据格式为:
可能很多人并不注意mongodb中存的数据格式吧,但是对于我来说,这个很敏感,我并不喜欢在后台使用object来保存这些本来明确的类型。这里我多提一点,如果是使用控制台插入的数据,你插入的数字,很可能存成了Double,而想存成整型,则必须要用NumberInt()、NumberLong()来,示例:
运行后在控制台上是看不出来数据类型的,但是利用MongoVUE,我可以看到:
数据库直接存成了double。而使用:
可以让它存成int32,使用NumberLong()可以存成Int64。
2、进行MapReduce,实现查找不同名字的人各有多少个的统计。首先是map函数,再调用reduce函数
1 function Map() { 2 emit( 3 this.name, 4 {count: 1} 5 ); 6 }
emit(key,value)是一个分组的函数,表示以指定key对原doc进行分组,value是从doc中取出的数据或者自己录入的数据,它将会被添加到一个集合(暂称C集合)中。MapReduce会对各个doc都进行一次Map函数调用,但你可以决定是否使用emit函数对此doc进行分组,不分组的doc就相当于弃置了。不过我推荐不要在Map函数中添加过滤操作,如if (xxx==yyy) emit(...,...);,而应该在进行MapReduce前就进行Query过滤掉信息(后面会讲)。在Map函数中可以进行的过滤操作一般也是分类操作,比如成绩高于60的以某种方法emit,低于60的以某种方法emit,而不应该说是高于60的进行emit,否则什么都不做。
1 function Reduce(key, values) { 2 var reduced = {count:0, name:""}; // 初始化返回值 3 values.forEach(function(val) { 4 reduced.count += val.count; 5 }); 6 return reduced; 7 }
接下来是Reduce函数,这个便是根据上面的emit分组数据进行统计了,函数的参数分别是key(它是上面的emit中的key)和values(它就是上面提到的C集合)。MapReduce会对各个分组的key都进行一次Reduce函数调用。函数第一行是对需要的统计结果数据进行初始化,然后就是自己的统计方法了,最后需要返回这个结果。
好了,看下在DB控制台下怎么调用这个MapReduce:
1 db.runCommand({ mapreduce: "lekko", 2 map : function Map() { 3 emit( 4 this.name, 5 {count: 1} 6 ); 7 }, 8 reduce : function Reduce(key, values) { 9 var reduced = {count:0, name:""}; // 初始化返回值 10 values.forEach(function(val) { 11 reduced.count += val.count; 12 }); 13 return reduced; 14 }, 15 out : { inline : 1 } 16 });
结果很快出来了:
,由于我前面又在控制台下添加了两条doc,所以现在lekko名称的人有4个了。值得注意的是,这里在MapReduce之后的结果都将成为double型!
3、一些附加操作
单纯的MapReduce原理很简单,关键是会灵活使用就好。现在我例出几个我自己的使用心得:
(1)把Query也放到MapReduce中
在前面的runCommand中添加参数。例如我要查询所有男生的,就添加..., query : { "isman" : true }, ...。
(2)对结果进行数据类型转化
利用Finalize函数(该函数是在Reduce函数后调用,它将对所有key的Reduce结果进行最后的操作),例如我在后台调用了api后想得到的是int型数据,而不是double的,那么就可以添加Finalize函数:
1 ..., 2 finalize : function Finalize(key, reduced) { 3 reduced.count = NumberInt(reduced.count); 4 return reduced; 5 }, 6 ...
这样,输出的reduced将会是int32,在后台你就直接用一个强制转化就行了,而不需要先从object转为double,再转为int(用ToString后再用Prase也不如强制转化)。
(3)时间类型
因为mongodb是有Date类型的,但是由于存入的时间格式和查询时间的格式可能不一致(特别是在你的mongodb部署在远程,而开发又是多人协作),会导致根据时间条件,却查不出数据的问题。我的建议,直接存时间的long形态(过去秒数),那么这种差异性问题就不复存在。