Disco/MapReduce:使用先前迭代的结果作为新迭代的输入

目前正在迪斯科实施PageRank.作为迭代算法,一次迭代的结果用作下一次迭代的输入.

我有一个代表所有链接的大文件,每行代表一个页面,行中的值代表它链接的页面.

对于Disco,我将此文件分成N个块,然后运行MapReduce一轮.结果,我获得了一组(页面,排名)元组.

我想把这个等级提供给下一次迭代.但是,现在我的mapper需要两个输入:图形文件和pageranks.

我想将图形文件和页面排列"压缩"在一起,这样每行代表一个页面,它的排名,以及它的链接.

由于这个图形文件被分成N个块,我需要将pagerank向量分成N个并行块,并将pagerank向量的区域压缩到图块中

这似乎比必要的更复杂,并且作为一个非常简单的操作(使用典型的mapreduce算法),似乎我错过了一些可以真正简化方法的Disco.

有什么想法吗？