同步异步与阻塞非阻塞的理解:
概念比较抽象,结合具体的例子比较容易理解,比如小明烧了一壶水准备泡咖啡来喝:
1.同步阻塞:小明在烧水的时候,什么也不干,就等着水开,水开了以后再去泡咖啡,这叫同步阻塞
2.同步非阻塞:小明仍然在用壶烧水,不过此时他不在傻傻的等着水开,而是先去玩了把王者荣耀,每当自己死了,就过来看看水开了没有,如果水开了就去泡咖啡,这叫同步非阻塞。
3.异步阻塞:其实异步就不存在阻塞了,一会在说明
4.异步非阻塞:小明仍然烧水煮咖啡,此时他不傻乎乎的等待结果,而是先去做别的事情,等他听到了水壶的响声以后,过来直接取烧开的水来泡咖啡,这种叫异步非阻塞。
同步:是指程序发起一个请求之后,直到请求返回结果之后,才进行下一步操作,简单说就是一件事做完才能去做下一件事,比如我发起一个网络请求查询一个人的身份证,然后根据身份证查看这个人的详细信息。那么我查询详细信息的操作需要等待查询身份证的操作,那么此时查询身份证的操作就是一个同步操作。
异步:异步很明显是与同步相对,二者的区别在于是否需要等待某操作的返回结果。简单来说,我们还是一个网络请求,如果我们此时不需要依赖这个请求的结果就能进行后续操作,那么此时这个网络请求就是一个异步操作。
当一个异步操作发出后,调用者在没有得到结果之前,可以继续执行后续操作。这就是异步。
阻塞:
阻塞的概念往往伴随着线程。阻塞一般是指:在调用结果返回之前,当前线程会被挂起。调用线程只有在得到结果之后才会被唤醒执行后续的操作。
非阻塞:
那么非阻塞,毫无疑问是阻塞的反向操作。非阻塞式的调用指:在结果没有返回之前,该调用不会阻塞住当前线程。
感觉阻塞/非阻塞和同步/异步有异曲同工的地方?
其实,这两者存在本质的区别,面向的对象是不同的。
阻塞/非阻塞:进程/线程需要操作的数据如果尚未就绪,是否妨碍了当前进程/线程的后续操作。
同步/异步:数据如果尚未就绪,是否需要等待数据结果。
二、并发和并行
二者的区分其实就在于四个字:是否同时。
并发:当有多个线程在操作时,如果系统只有一个CPU,操作系统只能把CPU运行时间划分成若干个时间段,再将时间段分配给各个线程执行,在一个时间段的快速的切换不同的线程代码运行。
并行:当系统有多个CPU时,可以存在当一个CPU执行一个线程时,另一个CPU可以执行另一个线程,两个线程互不抢占CPU资源,可以同时进行。
再举个例子来形象的理解,
小明吃饭吃到一半,电话来了,小明一直到吃完了以后才去接。既不并发也不并行
小明吃饭吃到一半,电话来了,小明停了下来接了电话,接完后继续吃饭。这是并发
小名吃饭吃到一半,电话来了,小明一边打电话一边吃饭。这是并行
三、python中的线程进程和协程
先用一句话来总结:一个程序就是一个进程,进程可以拥有多个线程,而协程是微线程。
1.进程:进程一般由程序、数据集、进程控制块三部分组成。我们编写的程序用来描述进程要完成哪些功能以及如何完成;数据集则是程序在执行过程中所需要使用的资源;进程控制块用来记录进程的外部特征,描述进程的执行变化过程,系统可以利用它来控制和管理进程,它是系统感知进程存在的唯一标志。比较抽象但容易理解,python的进程通过multiprocessing.process()来创建。
Pool类描述了一个工作进程池,他有几种不同的方法让任务卸载工作进程。进程池内部维护一个进程序列,当使用时,则去进程池中获取一个进程,如果进程池序列中没有可供使用的进进程,那么程序就会等待,直到进程池中有可用进程为止。
我们可以用Pool类创建一个进程池, 展开提交的任务给进程池。
2.线程:线程是属于进程的,线程运行在进程空间内,同一进程所产生的线程共享同一内存空间,当进程退出时该进程所产生的线程都会被强制退出并清除。线程可与属于同一进程的其它线程共享进程所拥有的全部资源,线程是应用程序工作的最小单元。python的线程是通过threading.Thread()来创建的。
GIL:(global interpreter lock)全局解释器锁:这是CPython所独有的,而且我们用的也大多数是CPython,所以在Cpython中,多线程其实是伪多线程,只是因为线程切换速度很快一般发觉不到而已,但他确实存在,所以在实际中能用多进程尽量不要用多线程。
3.协程:
线程和进程的操作是由程序触发系统接口,最后的执行者是系统;协程的操作则是程序员。
协程存在的意义:对于多线程应用,CPU通过切片的方式来切换线程间的执行,线程切换时需要耗时(保存状态,下次继续)。协程,则只使用一个线程,在一个线程中规定某个代码块执行顺序。
协程的适用场景:当程序中存在大量不需要CPU的操作时(IO),适用于协程;
event loop是协程执行的控制点, 如果你希望执行协程, 就需要用到它们。
子程序(函数)在执行过程中可以中断去执行别的子程序;别的子程序也可以中断回来继续执行之前的子程序,那么很容易想到Python的yield,显然yield是可以实现这种切换的。python用到协程的标志之一就是yield。
协程的优点:
(1)无需线程上下文切换的开销,协程避免了无意义的调度,由此可以提高性能(但也因此,程序员必须自己承担调度的责任,同时,协程也失去了标准线程使用多CPU的能力)
(2)无需原子操作锁定及同步的开销
(3)方便切换控制流,简化编程模型
(4)高并发+高扩展性+低成本:一个CPU支持上万的协程都不是问题。所以很适合用于高并发处理。
协程的缺点:
(1)无法利用多核资源:协程的本质是个单线程,它不能同时将 单个CPU 的多个核用上,协程需要和进程配合才能运行在多CPU上.当然我们日常所编写的绝大部分应用都没有这个必要,除非是cpu密集型应用。
(2)进行阻塞(Blocking)操作(如IO时)会阻塞掉整个程序