安装parallel (Ubuntu)：
sudo apt-get install parallel
例如，使用parallel并行把本地数据put到HDFS上：
parallel -j 20 hadoop fs -put {} $DATA_DIR_HDFS ::: $DATA_DIR_LOCAL/*
其中j表示并行job数：
--jobs N
-j N
--max-procs N
-P N Number of jobslots. Run up to N jobs in parallel. 0 means as many as possible.
Default is 100% which will run one job per CPU core.
If --semaphore is set default is 1 thus making a mutex.
其中:::表示多源输入
parallel cat {} ::: abc.txt def.txt
结果为
a
b
c
d
e
f
安装parallel (Ubuntu)： 例如，使用parallel并行把本地数据put到HDFS上： 其中j表示...
原网站：Parallel并行命令加速执行#原始网址失效Parallel并行命令加速执行 还是值得学习下，目前还没熟...
select /*+parallel(t,25)+*/ 一、Parallel 1． 用途 强行启用并行度来执行当...
GNU Parallel是一个shell工具，为了在一台或多台计算机上并行的执行计算任务。本文简要介绍GNU Pa...
Parallel是一个shell工具，可以在一台或者多台计算机上并行执行任务。和xargs有相似的使用方法，能代替...
shell脚本 1.shell脚本执行方式 1.1 添加执行权 1.2 指定shell命令 2.shell变量 2...
shell "-x"选项可用来跟踪脚本的执行，是调试shell脚本的强有力工具。“-x”选项使shell在执行脚本...
编写一个shell脚本 shell脚本的开头一定要指定一个shell解释器 给shell脚本加执行权限 执行she...
编写shell脚本 执行脚本
手动执行 Shell 脚本成功，但是放入 crontab 执行就会报错： 但直接执行该 Shell 脚本却可以成功...
本文标题：parallel 并行执行shell脚本
本文链接：https://www.haomeiwen.com/subject/vlbsettx.html
网友评论