1.问题
python可以作为shell替代，代码比较直观，易于维护。 python支持调用外部shell命令。不过，这个问题没有看上去简单，要完美的解决此问题，比较复杂，就连标准库也不见得处理得很好。
2.方案
2.1.方案一
首先最简单的方法就是调用system方法，直接执行系统shell命令，代码如下：
import os
os.system('ls -l')
system主要问题，就是无法获取shell命令的输出，无法进行输入；也没有超时设置，如果外部命令挂死，会直接导致当前进程挂死。
2.2.方案二
python3的subprocess提供了check_output方法，可以直接获取进程的输出，也支持输入，同时关键的是支持超时设置。这就防止了shell命令挂死的问题。
def __exec_command(cmd: str, input: str = None, timeout=10) -> str:
try:
output_bytes = subprocess.check_output(cmd, input=input, stderr=subprocess.STDOUT, shell=True, timeout=timeout)
except subprocess.CalledProcessError as err:
output = err.output.decode('utf-8')
logger.debug(output)
raise err
result = output_bytes.decode('utf-8')
return result
print(__exec_command('ls -l')）
现在可以成功获取系统命令的结果，并且很好的支持超时功能，防止命令挂死。不过，我们看看下面这个例子：
print(__exec_command('echo begin;sleep 10; echo end; sleep 3'), timeout=30）
上述代码中，要想获取shell命令的结果，实际测试的结果，只能等到子进程结束才可以获取，父进程只能傻傻得等，对子进程的执行过程一无所知。
2.3.方案三
上述的问题，看上容易解决，实际上比较复杂。我们先看下，使用更低层的subprocess.Popen能否解决：
process = subprocess.Popen(cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE )
while True:
if process.poll() is None and timeout > 0:
output_bs = process.stdout.read()
if not output_bs:
....
time.sleep(0.5)
timeout = timeout - 0.5
if process.poll() is None or timeout <= 0:
process.kill()
上述问题是无法解决我们的问题，因为process.stdout.read()是阻塞的，如果子进程没有输出，就挂住了。
我们使用有超时功能communicate方法再试试：
def exec_command(cmd: str, input: str = None, encoding='utf-8', shell=True, timeout=5) -> str:
output_bytes = b''
process = subprocess.Popen(cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE, shell=shell)
while process.poll() is None and timeout > 0:
try:
output_bytes, output_err_bytes = process.communicate(timeout=0.5)
except subprocess.TimeoutExpired as err:
if err.stdout:
output = err.output.decode(encoding)
print(output)
timeout -= 0.5
continue
if process.poll() is None or timeout <= 0:
process.kill()
raise ValueError(f'exec command: {cmd} timeout')
result = output_bytes.decode(encoding)
return result
communicate超时时抛出异常subprocess.TimeoutExpired，这个异常对象的stdout带有子进程已经输出的内容。
目前还不错，可以满足开头提的问题。不过，不能算完美，因为输出是有点奇怪，如下所示：
hello
hello
hello
hello
hello
hello
hello-end
每次TimeoutExpired超时，stdout所带的内容，是子进程已经输出的内容，而不是新增加的内容。
2.4.方案四
要想实时获取子进程是否有内容输出，我们可以使用文件进行重定下，代码如下：
def exec_command(cmd: str, input: str = None, encoding='utf-8', shell=True, timeout=10, wait=0.5) -> str:
_opener = lambda name, flag, mode=0o7770: os.open(name, flag | os.O_RDWR, mode)
output_bytes = bytearray()
with tempfile.NamedTemporaryFile('w+b') as writer, open(writer.name, 'rb', opener=_opener) as reader:
try:
process = subprocess.Popen(cmd, stdout=writer, stderr=writer, stdin=subprocess.PIPE, shell=shell)
if input:
process.stdin.write(input.encode(encoding))
process.stdin.close()
while process.poll() is None and timeout > 0:
new_bytes = reader.read()
if new_bytes or new_bytes != b'':
logger.debug(f'{new_bytes}')
output_bytes = output_bytes + bytearray(new_bytes)
else:
logger.debug('waiting sub process output......')
time.sleep(wait)
timeout -= wait
except Exception as err:
process.kill()
raise err
if process.poll() is None:
process.kill()
raise ValueError(f'exec cmd:{cmd} timeout')
new_bytes = reader.read()
if new_bytes:
output_bytes = output_bytes + bytearray(new_bytes)
result = output_bytes.decode(encoding)
return result
这里，我们试用了临时文件对子进程的输入输出进行重定向，对于文件的读取reader.read()实际上并不是阻塞的。基本完美实现了本文的问题。
3.讨论
在windows系统中，python创建子进程的时候，可以使用管道作为子进程的输入参数startupinfo，从而完美实现子进程输入输出重定向。但在linux确不行，不支持参数startupinfo。
process=subprocess.Popen参数subprocess.PIPE字面上是返回管道，但子进程process.stdout实际是文件句柄，读操作完全是阻塞，没有非阻塞得读，这是问题的关键所在。
方案二和方案四不妨结合起来使用，对于长时间执行任务，选择方案四，对于一般的任务执行直接使用方案二。
python中执行系统shell命令，也可以创建一个线程进行子进程输出读取，超时就杀掉线程；或者使用协程版本的subprocess，但是实现起来更加复杂，效率显得更差。有兴趣的同学，可以自己实现试试。
enjoy~~~
网友评论