我最近玩过Hadoop,并对MapReduce作业的调度,管理和报告印象深刻.它似乎使新工作的分配和执行非常无缝,使开发人员能够专注于他们的工作实施.
我想知道Java域中是否存在任何不容易表示为MapReduce问题的作业的分布式执行?例如:
需要任务协调和同步的工作.例如,它们可能涉及顺序执行任务,但同时执行某些任务是可行的:
.-- B --. .--A --| |--. | '-- C --' | Start --| |-- Done | | '--D -------------'
您希望分发的CPU密集型任务但不提供任何减少的输出 - 例如图像转换/调整大小.
那么是否有一个提供这种分布式计算环境的Java框架/平台?或者这种事情是否可以使用Hadoop接受/实现 - 如果有的话,这些工作的模式/指南是什么?