如何从bash脚本并行运行多个程序？

时间显示命令是并行运行的（最后一个命令仅在原始3个命令中的第一个终止后才启动，但执行速度非常快）。

在xargs所有命令完成之前，命令本身不会返回，但是您可以在后台执行该操作&，方法是使用控制操作符终止该命令，然后使用wait内置函数等待整个xargs命令完成。

{
  xargs -P 3 -I {} sh -c 'eval "$1"' - {} <<'EOF'
sleep 1; echo 1
sleep 2; echo 2
sleep 3; echo 3
echo 4
EOF
} &

# Script execution continues here while `xargs` is running 
# in the background.
echo "Waiting for commands to finish..."

# Wait for `xargs` to finish, via special variable $!, which contains
# the PID of the most recently started background process.
wait $!

注意：

BSD / MacOS的xargs要求指定命令的计数并行运行明确，而GNU xargs允许你指定-P 0要尽可能多的运行尽可能平行。

并行运行的进程的输出在生成时会到达，因此将无法预料地交错。

parallel如Ole的回答中所述（大多数平台都不标准），GNU可以方便地在每个进程的基础上对输出进行序列化（分组），并提供更多高级功能。

你可以尝试ppss.ppss相当强大 - 你甚至可以创建一个迷你集群.如果你有一批令人尴尬的并行处理,xargs -P也很有用.

我最近有类似的情况,我需要同时运行多个程序,将它们的输出重定向到分离的日志文件并等待它们完成,我最终得到类似的东西:

#!/bin/bash

# Add the full path processes to run to the array
PROCESSES_TO_RUN=("/home/joao/Code/test/prog_1/prog1" \
                  "/home/joao/Code/test/prog_2/prog2")
# You can keep adding processes to the array...

for i in ${PROCESSES_TO_RUN[@]}; do
    ${i%/*}/./${i##*/} > ${i}.log 2>&1 &
    # ${i%/*} -> Get folder name until the /
    # ${i##*/} -> Get the filename after the /
done

# Wait for the processes to finish
wait

资料来源:http://joaoperibeiro.com/execute-multiple-programs-and-redirect-their-outputs-linux/

这是我使用的函数,以便并行运行max n进程(在示例中n = 4):

max_children=4

function parallel {
  local time1=$(date +"%H:%M:%S")
  local time2=""

  # for the sake of the example, I'm using $2 as a description, you may be interested in other description
  echo "starting $2 ($time1)..."
  "$@" && time2=$(date +"%H:%M:%S") && echo "finishing $2 ($time1 -- $time2)..." &

  local my_pid=$$
  local children=$(ps -eo ppid | grep -w $my_pid | wc -w)
  children=$((children-1))
  if [[ $children -ge $max_children ]]; then
    wait -n
  fi
}

parallel sleep 5
parallel sleep 6
parallel sleep 7
parallel sleep 8
parallel sleep 9
wait

如果将max_children设置为内核数,则此函数将尝试避免空闲内核.