免费安全分布式制作系统的Linux

是否有任何良好的语言无关的分布式系统为Linux安全和免费？

背景资料:

我运行的科学实验(计算机科学实验)有时会有大的依赖树,偶尔会有数千或数万个树节点.此依赖关系树位于数据文件,数据处理可执行文件和结果文件之上.

多年来我一直在尝试各种技术,包括:

使用数据库滚动我自己的依赖关系跟踪器并在每个工作机器上运行脚本.这可能会有点麻烦,尤其是在尝试使用非脚本语言时.

将所有处理命令放在单个makefile中,伪目标可以在不同的工作机器上手动"构建".这不需要特殊的工具,但是手动将工作分解为大小均匀的伪目标块并在每个工作箱上正确调用"make"可能会很麻烦.

distmake:自动分配来自单个makefile的命令执行...

我基本上都在寻找像distmake这样的东西,但更安全.据我所知,distmake基本上为每个工作节点留下了一个敞开的后门.

如果替换者比distmake更强大也会很好.如果您突破主要的distmake调用,它可以关闭后门服务器,但它不能正确地终止工作节点上的执行进程.

澄清:

我正在使用makefile处理数据,而不是使用gcc编译和链接.从我在文档中看到的内容来看,distcc是一个用于分发gcc的专用工具.我将在共享文件系统上托管的非常大的数据文件上运行我自己的可执行文件,而不是源文件上的gcc,因此distcc没有帮助.

工作节点是外部可见的机器,因此我希望任何工作器守护程序至少与ssh一样安全.在没有阅读源代码的情况下,我可以告诉他们,distmake工作者守护进程打开一个端口并接受任何附加到它的人的命令.它们将以启动守护程序的用户身份执行命令.