python笔记_logging模块(一)

logging模块是python中的常用模块,我计划用两到三篇文章来详细的介绍一下这个模块的用法。第一篇文章主要是讲logging的主干源码,如果想直接看logging的用法,可以等第二篇。

参考的logging版本是python2.7.3,我将logging源码加上了中文注释放在我的github上
https://github.com/Stan-He/python_learn/tree/master/learn_logging

1.开始

最开始,我们用最短的代码体验一下logging的基本功能

import logging

loger=logging.getLoger()
logging.basicConfig()
loger.setLevel('DEBUG')
loger.debug('logsomething')
#输出
out>>DEBUG:root:logsomething
  • 第一步,通过logging.getLoger函数,获得一个loger对象,但这个对象暂时是无法使用的。
  • 第二步,logging.basicConfig函数,进行一系列默认的配置,包括format、handler等。
  • 第三步、loger调用setLevel函数定义日志级别为DEBUG
  • 最后,logger调用debug函数,输出一条debug级别的message,显示在了标准输出上

2.logging中的日志级别

logging在生成日志的时候,有一个日志级别的机制,默认有以下几个日志级别:

CRITICAL = 50
ERROR = 40
WARNING = 30
INFO = 20
DEBUG = 10
NOTSET = 0

每一个logger对象,都有一个日志级别,它只会输出高于它level的日志。如果一个logger的level是INFO,那么调用logger.debug()是无法输出日志的,而logger.warning()能够输出。

一般来说,以上的6个日志级别完全满足我们日常使用了。

3.logging中的基础类

logging是python中的一个基础模块,它在python中的源码位置如下:

#主干代码
/usr/lib/python2.7/logging/__init__.py 
#扩展的handler和config
/usr/lib/python2.7/logging/config.py
/usr/lib/python2.7/logging/handlers.py

组成logging的主干的几个基础类都在__init__.py中:

3.1 第一个基础类 LogRecord

一个LogRecord对象,对应了日志中的一行数据。通常包含:时间、日志级别、message信息、当前执行的模块、行号、函数名……这些信息都包含在一个LogRecord对象里。
LogRecord对象可以想象成一个大字典

class LogRecord(object):
    #代表一条日志的类
    def getMessage(self):
        #获取self.msg

def makeLogRecord(dict):
    #这个方法很重要,生成一个空的LogRecord,然后通过一个字典,直接更新LogRecord中的成员变量
    rv = LogRecord(None, None, "", 0, "", (), None, None)
    rv.__dict__.update(dict)
    return rv    

3.2 第二个基础类 Formatter

Formatter对象是用来定义日志格式的,LogRecord保存了很多信息,但是打日志的时候我们只需要其中几个,Formatter就提供了这样的功能,它依赖于python的一个功能:

#通过字典的方式,输出格式化字符串
print '%(name)s:%(num)d' % {'name':'my_name','num': 100}
out>>my_name:100

如果说LogRecord是后面的那个字典,那么Formatter就是前面的那个格式字符串……的抽象

重要的代码如下:

class Formatter(object):
    def __init__(self,fmt=None,datefmt=None):
        if fmt:
            self._fmt = fmt
        else:
            #默认的format
            self._fmt = "%(message)s"
    def format(self,record)
        #使用self._fmt进行格式化
        s=self._fmt % record.__dict__
        return s

3.3 第三个基础类 Filter和Filterer

Filter类,功能很简单。Flter.filter()函数传入一个LogRecord对象,通过筛选返回1,否则返回0。从代码中可以看到,其实是对LogRecord.name的筛选。

Filterer类中有一个Filter对象的列表,它是一组Filter的抽象。

重要的代码如下:

class Filter(object):
    def __init__(self,name=''):
        self.name=name
        self.nlen=len(name)
    def filter(self,record)
        #返回1表示record通过,0表示record不通过
        if self.nlen==0:
            return 1
        elif self.name==record.name:
            return 1
        #record.name不是以filter开头
        elif record.name.find(self.name,0,self.nlen) !=0:
            return 0
        #最后一位是否为.
        return (record.name[self.nlen] == ".") 

class Filterer(object):
    #这个类其实是定义了一个self.filters=[]的列表管理多个filter
    def addFilter(self,filter)
    def removeFilter(self,filter)
    def filter(self,record):
        #使用列表中所有的filter进行筛选,任何一个失败都会返回0
        #例如:
        #filter1.name='A',filter2.name='A.B',filter3.name='A.B.C'
        #此时record.name='A.B.C.D'这样的record才能通过所有filter的筛选

4. logging中的高级类

有了以上三个基础的类,就可以拼凑一些更重要的高级类了,高级类可以实现logging的重要功能。

4.1 Handler——抽象了log的输出过程

  • Handler类继承自Filterer。Handler类是log输出这个过程的抽象。
  • 同时Handler类具有一个成员变量self.level,在第二节讨论的日志级别的机制,就是在Handler中实现的。
  • Handler有一个emit(record)函数,这个函数负责输出log,必须在Handler的子类中实现。

重要代码如下:

class Handler(Filterer):
    def __init__(self,level=NOTSET):
        #handler必须有level属性
        self.level=_checkLevel(level)
    def format(self,record):
        #使用self.formatter,formatrecord
    def handle(self,record):
        #如果通过filter的筛选,则emit这条log
        rv=self.filter(record)
        self.emit(record)
    def emit(self,record):
        #等待子类去实现

接下来看两个简单的handler的子类,其实在logging源码中,有一个handler.py专门定义了很多更复杂的handler,有的可以将log缓存在内存中,有的可以将log做rotation等

4.1.1 StreamHandler

最简单的handler实现,将log写入一个流中,默认的stream是sys.stderr

重要的代码如下:

class StreamHandler(Handler):
    def __init__(self, stream=None):
        if stream is None:
            stream=sys.stderr
        self.stream=stream
    def emit(self,record):
        #将record的信息写入流中
        #处理一些编码的异常
        fs='%s\n' #每条日志都有换行
        stream=self.stream
        stream.write(fs % msg)
4.1.2 FileHandler

将log输出到文件的handler,继承自StreamHandler

重要代码如下:

class FileHandler(StreamHandler):
    def __init__(self,filename, mode='a'):
        #append方式,打开一个文件
        StreamHandler.__init__(self, self._open())
    def emit(self,record):
        #和streamhandler保持一致
        StreamHandler.emit(self, record)

4.2 Logger —— 一个独立的log管道

什么是logger?

  • logger类继承自Filterer,
  • logger对象有logger.level日志级别
  • logger对象控制多个handler:logger.handlers=[]
  • logger对象之间存在父子关系

简单的来说,logger这个类,集中了我们以上所有的LogRecord类、Filter类、Formatter类、handler类。首先,logger根据输入生成一个LogRecord对象,经过Filter和Formatter之后,再通过self.handlers列表中的所有handler,把log发送出去。一个logger中可能有多个handler,可以实现把一份log放到多个任意的位置。

重要代码:

class Logger(Filterer):
    def __init__ (self,name,level=NONSET):
        #handler列表
        self.handlers=[]
        self.level=_checkLevel(level)
    def addHandler(self,hdlr):
    def removeHandler(self,hdlr):
    def _log(self, level, msg, args, exc_info=None, extra=None):
        #在_log函数中创建了一个LogRecord对象
        record = self.makeRecord(self.name, level, fn, lno, msg, args, exc_info, func, extra)
        #交给handle函数
        self.handle(record)
    def handle(self,record):
        #进行filter,然后调用callHandlers
        if (not self.disabled) and self.filter(record):
            self.callHandlers(record)
    def callHandlers(self, record): 
        #从当前logger到所有的父logger,递归的handl传入的record
        c=self
        while c:
            for hdlr in c.handlers:
                hdlr.handle(record) #进入handler的emit函数发送log
            ……
            c=c.parent

4.3 Manager —— 管理logger的类

Manager这个类,对用户其实是不可见的,如果生成了Logger,Manager就会自动存在,Manager对象负责管理所有的Logger。

logger和manager的关系,总结了一下几条:

  • Logger是输出log的对象,Manager类提供了管理多个Logger的功能。
  • 一个程序中只能有一个manager对象,生成manager时,必定也会生成RootLogger,manager对象中的self.root指向了RootLogger
  • manager对象中的self.loggerDict,这个字典保存了当前所有的logger对象(不包含rootlogger)
  • 如果使用logging.getLogger的name为空,那么默认指向了name为'root'的RootLogger
  • 如果使用logging.getLogger的name不为空,生成的logger会自动挂载到RootLogger下,除非指定其他的父logger
  • 其他的logger通过name建立父子关系

父子关系示例:

loger1=logging.getLogger('A')
loger2=logging.getLogger('A.B')
#loger2的父loger是loger1
loger2.parent
out>><logging.Logger object at 0xb7230d6c>
#loger1的父loger是rootlogger
loger1.parent
out>><logging.RootLogger object at 0xb7230b6c> 

这些关系都在manager中进行管理

重要的代码:

class Manager(object):
    def getLogger(self,name):
        #生成一个logger,将logger中的manager指向self
        #维护所有logger的父子关系
    def _fixupParents(self,aloger):
    def _fixupChildren(self,ph,aloger):
        #修复所有logger的父子关系

4.4 LoggerAdapter —— 对标准logger的一个扩展

LogRecord这个大字典中提供的成员变量已经很多,但是,如果在输出log时候仍然希望能够夹带一些自己想要看到的更多信息,例如产生这个log的时候,调用某些函数去获得其他信息,那么就可以把这些添加到Logger中,LoggerAdapter这个类就起到这个作用。

LoggerAdapter这个类很有意思,如果不做什么改动,那么LoggerAdapter类和Logger并没有什么区别。LoggerAdapter只是对Logger类进行了一下包装

LoggerAdapter的用法其实是在它的成员函数process()的注释中已经说明了:

def process(self, msg, kwargs): 
    """
    Normally, you'll only need to override this one method in a
    LoggerAdapter subclass for your specific needs. 
    """

也就是说重写process函数,以下是一个例子:

import logging
import random
L=logging.getLogger('name')

#定义一个函数,生成0~1000的随机数
def func():
    return random.randint(1,1000)

class myLogger(logging.LoggerAdapter):
    #继承LoggerAdapter,重写process,生成随机数添加到msg前面
    def process(self,msg,kwargs):
        return '(%d),%s' % (self.extra['name'](),msg)  ,kwargs

#函数对象放入字典中传入  
LA=myLogger(L,{'name':func})

#now,do some logging
LA.debug('some_loging_messsage')

out>>DEBUG:name:(167),some_loging_messsage 

5. logging中的config函数

5.1 def basicConfig(**kwargs)

basicConfig函数将对各种参数进行配置,如果不传入参数,则进行默认配置:

  1. format配置
  2. handler配置
  3. level配置
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 202,980评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,178评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 149,868评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,498评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,492评论 5 364
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,521评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,910评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,569评论 0 256
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,793评论 1 296
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,559评论 2 319
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,639评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,342评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,931评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,904评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,144评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,833评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,350评论 2 342

推荐阅读更多精彩内容

  • 本文章是我大概三年前,在上家单位使用 Python 工作时结合官方文档做的整理。现在 Python 官方文档听说已...
    好吃的野菜阅读 215,829评论 14 232
  • 本篇文章主要对 python logging 的介绍加深理解。更主要是 讨论在多进程环境下如何使用logging ...
    doudou0o阅读 40,936评论 52 42
  • Python logging 模块 参考 http://blog.csdn.net/zyz511919766/ar...
    ktide阅读 883评论 0 2
  • 本文翻译自logging howto 基础教程 日志是跟踪软件运行时发生事件的一种手段。Python开发者在代码中...
    大蟒传奇阅读 4,243评论 0 17
  • 好友莲约我到她的新家品茶。房子并不大,却别具匠心地在窗台旁做了个小茶室,竹席编制的榻榻米上放着一张古色古香的茶桌,...
    江南烟雨阅读 1,169评论 1 7