2019-11-26 python多线程基础

看文档发现Python是借鉴Java的多线程,学学java还是有用的。

Lock和RLock的区别

  • RLock 叫做可重入锁(reentrant lock),在锁定状态下,必定有线程拥有这把锁, 在未锁定状态下,没有线程拥有该锁。因为线程拥有,才可以继续上锁
  • Lock 不能被线程拥有
  • RLock除了拥有lock 和unlock状态,还拥有the concepts of “owning thread” and “recursion level”
  • 都支持with语句
In [1]: import time
   ...: from threading import Thread, Lock, current_thread
   ...: 
   ...: lock = Lock()
   ...: 
   ...: 
   ...: def xx():
   ...:     lock.acquire()
   ...:     print(current_thread().getName() + " 子线程上锁")
   ...:     while 1:
   ...:         if not lock.locked():
   ...:             print(current_thread().getName() + " 回到子线程")
   ...:             break
   ...: Thread(target=xx).start()
   ...: time.sleep(2)
   ...: print(current_thread().getName() + " 释放锁")
   ...: lock.release()
Thread-335 子线程上锁
MainThread 释放锁
Thread-335 回到子线程

上面看出lock在子线程上锁然后被主线程释放,因此证明Lock是不被线程拥有的

In [3]: import time
   ...: from threading import Thread, Lock, RLock, current_thread
   ...: 
   ...: lock = RLock()
   ...: lock.acquire()
   ...: 
   ...: def xx():
   ...:     lock.release()
   ...:     print(current_thread().getName() + " 子线程上锁")
   ...:     while 1:
   ...:         print(current_thread().getName() + " 回到子线程")
   ...:         break
   ...: 
   ...: 
   ...: Thread(target=xx).start()
   ...: time.sleep(2)
   ...: print(current_thread().getName() + " 释放锁")
Exception in thread Thread-464:
Traceback (most recent call last):
  File "c:\users\zhao\miniconda3\lib\threading.py", line 917, in _bootstrap_inner
    self.run()
  File "c:\users\zhao\miniconda3\lib\threading.py", line 865, in run
    self._target(*self._args, **self._kwargs)
  File "<ipython-input-3-9016daf20cf0>", line 8, in xx
    lock.release()
RuntimeError: cannot release un-acquired lock

上面看出Rlock如果尝试其他线程释放,会报错。

wait/notify 使用

  • 这两个都是用在Condition Objects,需要注意的是Condition Objects需要锁,锁是条件对象的一部分。你可以传入锁也可以默认创建。

  • 锁必须是Lock或RLock,默认使用RLock

  • wait是临时释放锁,并处于等待状态,其他线程可以获得锁。

  • wait 必须再次获得锁才能往下运行

  • notify不释放锁

  • 其他线程获得同一个锁后,调用notify,wait可以去进行锁的竞争

import threading

cv = threading.Condition()

def xx():
    with cv:
        print("xx 1")
        cv.wait()
        print("xx 2")

def vv():
    with cv:
        print("vv 1")
        cv.notify()
        print("vv 2")


k = threading.Thread(target=xx)
v = threading.Thread(target=vv)
k.start()
v.start()

# 第一种情况
# xx 1
# vv 1
# vv 2
# xx 2

# 第二种情况
# vv 1
# vv 2
# xx 1
# 代码等待中

上面代码只有两种方式,当xx函数先执行,是第一种情况,当vv函数先执行,是第二种情况。仔细分析跟上述观点一致。

生产者消费者模式
这段代码是抄自Python标准库Threading源代码中,使用wait/notify实现线程安全的容器

import sys as _sys
from time import sleep as _sleep
from collections import deque as _deque
from threading import RLock, Condition, Thread, currentThread


def _test():
    class BoundedQueue():

        def __init__(self, limit):
            self.mon = RLock()
            self.rc = Condition(self.mon)
            self.wc = Condition(self.mon)
            self.limit = limit
            self.queue = _deque()

        def _note(self, format, *args):
            format = format % args
            name = currentThread().getName()
            format = "%s: %s\n" % (name, format)
            _sys.stderr.write(format)

        def put(self, item):
            self.mon.acquire()
            while len(self.queue) >= self.limit:
                self._note("put(%s): queue full", item)
                print(self.mon._RLock__count)
                self.wc.wait()
                print(self.mon._RLock__count)
            self.queue.append(item)
            self._note("put(%s): appended, length now %d",
                       item, len(self.queue))
            self.rc.notify()
            self.mon.release()

        def get(self):
            self.mon.acquire()
            while not self.queue:
                self._note("get(): queue empty")
                self.rc.wait()
            item = self.queue.popleft()
            self._note("get(): got %s, %d left", item, len(self.queue))
            self.wc.notify()
            self.mon.release()
            return item

    class ProducerThread(Thread):

        def __init__(self, queue, quota):
            Thread.__init__(self, name="Producer")
            self.queue = queue
            self.quota = quota

        def run(self):
            from random import random
            counter = 0
            while counter < self.quota:
                counter = counter + 1
                self.queue.put("%s.%d" % (self.name, counter))
                _sleep(random() * 0.00001)

    class ConsumerThread(Thread):

        def __init__(self, queue, count):
            Thread.__init__(self, name="Consumer")
            self.queue = queue
            self.count = count

        def run(self):
            while self.count > 0:
                item = self.queue.get()
                print item
                self.count = self.count - 1

    NP = 1
    QL = 1
    NI = 5

    Q = BoundedQueue(QL)
    P = []
    for i in range(NP):
        t = ProducerThread(Q, NI)
        t.name = ("Producer-%d" % (i + 1))
        P.append(t)
    C = ConsumerThread(Q, NI * NP)
    for t in P:
        t.start()
        _sleep(0.000002)
    C.start()
    for t in P:
        t.join()
    C.join()


if __name__ == '__main__':
    _test()
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,457评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,837评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,696评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,183评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,057评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,105评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,520评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,211评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,482评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,574评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,353评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,213评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,576评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,897评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,174评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,489评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,683评论 2 335

推荐阅读更多精彩内容

  • 【threading模块详解】 模块基本方法 该模块定了的方法如下:threading.active_count(...
    奕剑听雨阅读 1,017评论 0 0
  • 大学的时候面试,时常被问到线程和进程的区别。时至今日,碰到爬虫中正好也要运用,再拿出来梳理一波。 首先明确一...
    興華的mark阅读 595评论 0 3
  • 线程 操作系统线程理论 线程概念的引入背景 进程 之前我们已经了解了操作系统中进程的概念,程序并不能单独运行,只有...
    go以恒阅读 1,625评论 0 6
  • 一、进程和线程 进程 进程就是一个执行中的程序实例,每个进程都有自己独立的一块内存空间,一个进程中可以有多个线程。...
    阿敏其人阅读 2,603评论 0 13
  • 关于Python多线程的概述 由于GIL的存在,Python的多线程在CPU密集型任务并没有多大的优势,任何Pyt...
    千鸟月读阅读 538评论 0 0