python3 中subprocess的运用

Date Tags
2019/10/8 Python3, subprocess

module-subprocess 文档

subprocess,译子进程
在运行Python程序时,都是在创建并运行一个进程。在Python中,可通过标准库的subprocess模块来fork一个子进程,并运行一个外部程序(如执行一条cmd命令)。subprocess还提供了管理标准流(standard stream)和管道(pipe)的工具,从而在进程之间使用文本通信。

subprocess模块是Python 2.4新增的一个模块,用来替换几个旧的模块和方法(如os.system()、os.spawn*(),甚至os.popen,当然commands更是舍弃了)。

subprocess.run()函数

subprocess.run(args, *, stdin=None, input=None, stdout=None, stderr=None, capture_output=False, shell=False, cwd=None, timeout=None, check=False, encoding=None, errors=None, text=None, env=None, universal_newlines=None)

Python 3.5中新增的函数。执行指定的命令,等待命令执行完成后返回一个包含执行结果的CompleteProcess类的实例。Python官方建议是尽量使用subprocess.run()函数。

1.1 特有的一些参数:
参数 说明
capture_output 设为 true,stdout 和 stderr 将会被捕获。相当于设置stdout=PIPE 和 stderr=PIPE, 所以这两者不要同时设置。
timeout 参数将被传递给 Popen.communicate()。如果发生超时,子进程将被杀死并等待。 TimeoutExpired 异常将在子进程中断后被抛出。
input 该参数是传递给Popen.communicate(),通常该参数的值必须是一个字节序列,如果encoding 或 errors 或者将 text 设置为 True,则其值应该是一个字符串。
check 如果 check 设为 True, 并且进程以非零状态码退出, 则会抛出一个CalledProcessError的异常。且该异常对象会包含参数、退出状态码以及标准输出和标准错误, 如果被捕获到。
1.2 常见一些参数:
参数 说明
args 要执行的shell命令,默认是一个字符串序列,如['ls', '-al']或('ls', '-al');也可是一个字符串,如'ls -al',同时需要设置shell=True
shell 如果shell为True,那么指定的命令将通过shell执行。
cwd 函数在执行子进程前改变当前工作目录为 cwd。
check 如果check参数的值是True,且执行命令的进程以非0状态码退出,则会抛出一个CalledProcessError的异常,且该异常对象会包含参数、退出状态码、以及stdout和stderr(如果它们有被捕获的话)。
stdout,stderr run()函数默认不会捕获命令执行结果的正常输出和错误输出,可以设置stdout=PIPE, stderr=PIPE来捕获相应的内容;也可以设置stderr=STDOUT,使标准错误通过标准输出流输出 。
1.3 举例
import subprocess

cmd = 'pwd'

result = subprocess.run(cmd, shell=True, timeout=3, stderr=subprocess.PIPE, stdout=subprocess.PIPE)

print (result)
CompletedProcess(args='pwd', returncode=0, stdout=b'/home/ta\n', stderr=b'')

print (result.returncode)
0

print (result.stdout)
b'/home/ta\n'
try:
    result = subprocess.run('d', shell=True, timeout=3, stderr=subprocess.PIPE, stdout=subprocess.PIPE, check=True)
except Exception as e:
     print (e.args)
     print (e.cmd)
     print (e.stderr)
     print (e.stdout)
     print (e.returncode)

(127, 'd')
d
b'/bin/sh: d: command not found\n'
b''
127


result = subprocess.run('d', shell=True, timeout=3, stderr=subprocess.PIPE, stdout=subprocess.PIPE)

print (result)
CompletedProcess(args='d', returncode=127, stdout=b'', stderr=b'/bin/sh: d: command not found\n')

subprocess.popen类:

subprocess.Popen类用于创建一个新的进程,让其执行一个子程序,并与它进行通信,获取标准输入、输出、错误以及返回码
subprocess中的run()、call()、check_call()、check_output()这些函数均是基于subprocess.Popen类实现的,所以当现有函数都无法满足需求时,可使用subprocess.Popen类来封装实现

2.1 subprocess.Popen类 的构造函数:
class subprocess.Popen(args, bufsize=-1, executable=None, stdin=None, stdout=None, stderr=None, preexec_fn=None, close_fds=True, shell=False, cwd=None, env=None, universal_newlines=False, startupinfo=None, creationflags=0, restore_signals=True, start_new_session=False, pass_fds=(), *, encoding=None, errors=None)

Popen类的对象创建之后,主程序不会自动等待子进程完成。所以必须调用wait()方法,父进程才会等待(即阻塞 block)。

参数说明:

  • args: 要执行的shell命令,可以是字符串,也可以是序列。
  • bufsize: 指定缓存策略,0表示不缓冲,1表示行缓冲,其他大于1的正值数字表示缓冲区大小,负数表示使用系统默认缓冲策略。
  • stdin, stdout, stderr: 分别表示程序标准输入、输出、错误句柄。
  • preexec_fn: 用于指定一个将在子进程运行之前被调用的可执行对象,只在Unix平台下有效。
  • close_fds: 如果该参数的值为True,则除了0,1和2之外的所有文件描述符都将会在子进程执行之前被关闭。
  • env: 用于指定子进程的环境变量,如果env=None,那么子进程的环境变量将从父进程中继承。如果env!=None,它的值必须是一个映射对象。
  • universal_newlines: 如果该参数值为True,则该文件对象的stdin,stdout和stderr将会作为文本流被打开,否则他们将会被作为二进制流被打开。
2.2 subprocess.Popen类的实例(对象)可调用的方法:
方法名 说明
Popen.poll() 用于检查子进程(命令)是否已经执行结束,没结束返回None,结束后返回状态码。
Popen.wait(timeout=None) 等待子进程结束,并返回状态码;如果在timeout指定的秒数之后进程还没有结束,将会抛出一个TimeoutExpired异常。
Popen.communicate(input=None, timeout=None) 该方法可用来与进程进行交互,比如发送数据到stdin,从stdout和stderr读取数据,直到到达文件末尾。
Popen.send_signal(signal) 发送指定的信号给这个子进程。
Popen.terminate() 停止该子进程
Popen.kill() 杀死该子进程

communicate()方法详解:该方法会阻塞父进程,直到子进程完成。

  • 该方法中的可选参数 input 应该是将被发送给子进程的数据,默认input=None表示没有数据发送给子进程。input参数的数据类型必须是字节序列或者字符串。
  • 该方法返回一个元组(stdout_data, stderr_data),这些数据将会是字节或字符串。
  • timeout秒数后超时,将会抛出一个TimeoutExpired异常。捕获这个异常,然后重新通信不会丢失任何输出的数据。但是超时之后子进程并没有被杀死,所以手动杀死这个子进程来结束通信。
  • 注意读取的数据是缓冲在内存中的,所以数据非常大或者是无限大时不建议使用这个方法。
2.3 subprocess.Popen类的实例(对象)拥有的属性:
属性名 说明
Popen.pid 获取子进程的进程ID
Popen.returncode 获取进程的返回码。如果进程未结束,则返回None
Popen.args 获取传递给Popen的args参数。它是一个字符串或一个参数序列
Popen.stdin 获取stdin参数值。
Popen.stdout 获取stdout参数值。
Popen.stderr 获取stderr参数值。

其他变量

名称 说明
subprocess.DEVNULL 是一个特殊值,可用于Popen对象的stdin、stdout、stderr参数,表示使用特殊文件os.devnull。Python 3.3中新增的。
subprocess.PIPE 在创建Popen对象时,subprocess.PIPE可以初始化为stdin, stdout或stderr的参数,表示与子进程通信的标准输入流,标准输出流以及标准错误。
subprocess.STDOUT 作为Popen对象的stderr的参数,表示将标准错误通过标准输出流输出
subprocess.SubprocessError Python 3.3新增的。它是subprocess模块中所有其他异常类的基类
subprocess.TimeoutExpired Python 3.3新增的。是SuprocessError的子类。当等待子进程超时时引发。
subprocess.CalledProcessError Python 3.3新增的。是SubprocessError的子类。当使用check_call()check_output()运行一个进程,返回一个非0退出状态码时,引发该异常。

其他函数

函数名 说明
subprocess.call() 执行指定命令,返回命令执行状态。其功能类似于os.system(cmd)
subprocess.check_call() Python 2.5中新增的函数。执行指定命令,如果执行成功则返回状态码 0,否则抛出subprocess.CalledProcessError异常,该对象包含returncode属性,可用try…except语句块进行检查。其功能等价于subprocess.run(..., check=True)。
subprocess.check_output() Python 2.7中新增的函数。执行指定的命令,如果执行状态码为0,则返回命令执行结果,否则抛出subprocess.CalledProcessError异常,该属性包含returncode属性、output属性,ouput属性为标准输出的输出结果,可用try…except语句块进行检查。
subprocess.getoutput(cmd) 接收字符串格式的命令,执行命令并返回执行结果,其功能类似于os.popen(cmd).read()和commands.getoutput(cmd)。
subprocess.getstatusoutput(cmd) 执行cmd命令,返回一个元组(命令执行状态、命令执行结果输出),其功能类似于commands.getstatusoutput()

上述函数均是父进程等待子进程完成,然后返回对应的结果。

  • Python 3.5之后的版本,在使用subprocess模块的功能时,官方文档提倡使用subprocess.run()函数 来替代其他函数;这也就是官方文档中提到的Older high-level API。
  • Python 3.5之前的版本,在使用subprocess模块的功能时,可使用上述如subprocess.call()、subprocess.getoutput()等函数。
  • subprocess.run()、subprocess.call()、subprocess.check_call()、subprocess.check_output()都是通过对subprocess.Popen类的封装来实现的高级函数。因此,若要实现更复杂的功能,可通过subprocess.Popen类来完成。
  • subprocess.getoutput()、subprocess.getstatusoutput()函数均是来自Python 2.7的commands模块的两个遗留函数。它们隐式地调用系统shell,并且不保证其他函数所具有的安全性和异常处理的一致性。而且,两者从Python 3.3.4才开始支持Windows平台。

归纳

在编码时,需要根据Python 版本的使用不同的subprocess函数。
当然,如果以上函数都无法满足需求时,可使用subprocess.Popen类来封装实现。

Python version 描述
Python >=2.4 引入了subprocess模块 用来替换os.system()、os.popen()、os.spawn*()等函数、以及Python 2.7的command模块
Python >=2.4 and <=3.5 Python官方给出的建议是使用subprocess.call()函数。Python 2.5新增了一个subprocess.check_call()函数;Python 2.7新增了subprocess.check_output()函数
Python >=3.5 Python官方给出的建议是尽量使用subprocess.run()函数

引用:

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 206,968评论 6 482
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 88,601评论 2 382
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 153,220评论 0 344
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 55,416评论 1 279
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 64,425评论 5 374
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,144评论 1 285
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,432评论 3 401
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,088评论 0 261
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,586评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,028评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,137评论 1 334
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,783评论 4 324
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,343评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,333评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,559评论 1 262
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,595评论 2 355
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,901评论 2 345