一个任务是一个进程,进程内的子任务称为线程。
多任务的实现有3种方式:
- 多进程模式;
- 多线程模式;
- 多进程+多线程模式。
线程是最小的执行单元,而进程由至少一个线程组成。如何调度进程和线程,完全由操作系统决定,程序自己不能决定什么时候执行,执行多长时间。
这次主要学习的是多进程的实现。
有下面三种方法。
os.getpid()
父进程的PID
os.getppid()
子进程的PID
一、os.fork()
import os
os.fork()
print('1111111111')
fork函数一旦运行就会生出一条新的进程,2个进程一起执行导致输出了2行。
import os
import time
res = os.fork()
print('res == %d'%res)
if res == 0:
print('我是子进程,我的pid是:%d,我的父进程id是:%d'%(os.getpid(),os.getppid()))
else:
print('我是父进程,我的pid是:%d'%os.getpid())```
执行结果:
res == 105297
我是父进程,我的pid是:105296
res == 0
我是子进程,我的pid是:105297,我的父进程id是:105296```
fork()运行时,会有2个返回值,返回值为大于0时,此进程为父进程,且返回的数字为子进程的PID;当返回值为0时,此进程为子进程。
注意:父进程结束时,子进程并不会随父进程立刻结束。同样,父进程不会等待子进程执行完。
???我也不知道为什么,似乎fork只能在py文件中实现。
在命令行中执行函数后直接进入了子进程,打字都是隔一个出现的。并且也无法退出,除非ctrl+Z强制退出。
二、multiprocessing.Process
from multiprocessing import Process
import time
def A():
while True:
print('正在调用函数')
time.sleep(1)#推迟执行的秒数
p = Process(target = A) #创建进程对象,并指定进程将来要执行的函数.
p.start() #启动进程.
执行结果:
正在调用函数
正在调用函数
正在调用函数
......```
再敲段代码,实现多进程同步执行:
import time
from multiprocessing import Process
def A(num):
while True:
print('正在调用函数%d'%num)
time.sleep(1)
for i in range(2):
p = Process(target = A, args = (i,)) #创建进程对象,并指定进程将来要执行的函数.
p.start() #启动进程.
exit()```
执行结果:
正在调用函数0
正在调用函数1
正在调用函数0
正在调用函数1
......
注意Process创建的进程必须执行完,主程序才会结束,用exit()也不能强退。
Process 创建进程的类:
Process([group [, target [, name [, args [, kwargs]]]]])
,
target
表示调用对象,args
表示调用对象的位置参数元组,如果只有一个参数要用(a,)来表示他是一个元组。kwargs
表示调用对象的字典。Name为别名。Group实质上不使用。
方法有:is_alive()、.join([timeout])、run()、start()、terminate()
属性有:authkey、daemon(要通过start()设置)、exitcode(进程在运行时为None、如果为–N,表示被信号N结束)、name、pid
Process类中,注意daemon是父进程终止后自动终止,且自己不能产生新进程,必须在start()之前设置。
三、multiprocessing.Process的run()方法
import os
import time
from multiprocessing import Process
class NewProcess(Process): #继承Process类创建一个新类
def __init__(self,num):
self.num = num
super().__init__()
def run(self): #重写Process类中的run方法.
while True:
print('我是进程%d,我的pid是:%d'%(self.num,os.getpid()))
time.sleep(1)
for i in range(2):
p = NewProcess(i)
p.start()```
执行结果:
我是进程0,我的pid是:105653
我是进程1,我的pid是:105654
我是进程0,我的pid是:105653
我是进程1,我的pid是:105654
我是进程0,我的pid是:105653
我是进程1,我的pid是:105654
...```
当不给Process指定target时,会默认调用Process类里的run()方法。这和指定target效果是一样的,只是将函数封装进类之后便于理解和调用。
四、multiprocessing.Pool 进程池
import time
from multiprocessing import Pool
def A():
for i in range(5):
print(i)
time.sleep(1)
#进程里有多少个数字
pool = Pool(2) #定义进程池大小 即一次性可以同时运行的进程
for i in range(5):#生成多少个进程
pool.apply_async(A) #使用非阻塞方式调用func,阻塞是apply()
#阻塞:主程序不运行,运行完一个子程序再运行下一个子程序。
#非阻塞:同时运行几个子程序,取决于pool大小
pool.close() #关闭Pool,使其不再接受新的任务
pool.join() #主进程阻塞,等待子进程的退出
对Pool对象调用join()方法会等待所有子进程执行完毕。调用join()之前必须先调用close(),调用close()之后就不能继续添加新的Process了。
Pool.terminate():一旦运行到此步,不管任务是否完成,立即终止。