title: python的LOGGING模块
date: 2018-04-10 01:55:05
tags: python 基础

自从开通了简书,我就每天拿着刷刷一波美文,时不时想着趁程序运行着,来简书上记录生活点点滴滴。

接着上篇文章写吧,先说说日志:

1. 日志的作用
   通过log的分析,可以方便用户了解系统或软件、程序应用的运行情况。web方面,如果你的应用log足够丰富,那可以分析用户的操作行为,喜好、地域分布或其他更多信息。爬虫方面,通过设置不同级别的等级,那么可以得到实时的状况反馈,及时发现问题并快速定位,解决问题,甚至有时可以补救损失。
   日志的作用可以简单总结三点：程序DEBUG调试，程序运行情况，是否有异常，软件程序运行是否有故障。
   2.日志的等级

进入主题吧,python的LOGGING模块

logging模块简介:
logging模块是Python的一个标准库模块，由标准库模块提供日志记录API的关键好处是所有Python模块都可以使用这个日志记录功能

1. logging模块的日志级别

开发应用程序或部署开发环境时，可以使用DEBUG或INFO级别的日志获取尽可能详细的日志信息来进行开发或部署调试；应用上线或部署生产环境时，应该使用WARNING或ERROR或CRITICAL级别的日志来降低机器的I/O压力和提高获取错误日志信息的效率。日志级别的指定通常都是在应用程序的配置文件中进行指定的。

2. logging的基本用法

  #-*- coding:utf-8 -*-
  import logging
  #指定logger的输出格式
  formatter = logging.Formatter('%(asctime)s %(levelname)-8s: %(message)s')
  #文件日志
  file_handler = logging.FieldHandler('xxx.log')
  file_handler = setFormatter(formatter)  #可以通过setFormatter指定输出格式


  # 控制台日志
  console_handler = logging.StreamHandler(sys.stdout)
  console_handler.formatter = formatter  # 也可以直接给formatter赋值

  # 为logger添加的日志处理器
  logger.addHandler(file_handler)
  logger.addHandler(console_handler)

  # 指定日志的最低输出级别，默认为WARN级别
  logger.setLevel(logging.INFO)

  # 输出不同级别的log
  logger.debug('this is debug info')
  logger.info('this is information')
  logger.warn('this is warning message')
  logger.error('this is error message')
  logger.fatal('this is fatal message, it is same as logger.critical')
  logger.critical('this is critical message')

  #移除一些日志处理
  logger.removeHandler(file_handler)

3. scrapy中如何使用logging日志呢?
   为了让我们自己希望输出到终端的内容能容易看一些：
   我们可以在setting中设置log级别
   在setting中添加一行（全部大写）：LOG_LEVEL = "WARNING”
   默认终端显示的是debug级别的log信息

通过在setting.py中进行以下设置可以被用来配置logging:(具体设置参考代码的custom-settings)

LOG_ENABLED 默认: True，启用logging
LOG_ENCODING 默认: 'utf-8'，logging使用的编码
LOG_FILE 默认: None，在当前目录里创建logging输出文件的文件名
LOG_LEVEL 默认: 'DEBUG'，log的最低级别
LOG_STDOUT 默认: False 如果为 True，进程所有的标准输出(及错误)将会被重定向到log中。例如，执行 print "hello" ，其将会在Scrapy log中显示

#此种方法无法显示log位置
import logging
def process_item(self,item,spider):
    logging.warning(item)

#添加__name__就能够显示log位置
import logging
logger=logging.getLogger(__name__)
def process_item(self,item,spider):
    logging.warning(item)

4. 格式化输出日志

service_name = "Spider"
logger.error('%s service is down!' % service_name) # 使用python自带的字符串格式化，不推荐
logger.error('%s service is down!', service_name) # 使用logger的格式化，推荐
logger.error('%s service is %s!', service_name, 'down') # 多参数格式化
logger.error('{} service is {}'.format(service_name, 'down')) # 使用format函数，推荐

5. 那现在就来说说Formatter日志写法吧
   Formatter 对象定义了log信息的结构和内容,构造时需要带两个参数:

• 格式化的模板fmt,默认会包含最近本的level和message信息
• 格式化的时间样式,默认为%Y-%m-%d %H:%M:%S 如:2018-04-10.
  fmt中允许使用的变量可以参考如下表:

6. 日志重复输出的坑
   你有可能会看到你的日志会重复显示多次,请注意是否使用了重复的handler
   暂时没出现打印日志错误,嘿嘿有可能是自己写的log需求不大吧,在公司里正儿八经的,这要记录日志,那要记录日志,估计重复可能性还是蛮大的。
   还是记录下来,以后会用到:
   • 调用basicConfig()方法时系统会默认创建一个handler,如果你再添加一个控制台handler时就会出现重复日志
   • 每次调用get_logger()方法时都会添加一个新的handler 那岂不是很明显的呵呵了....建议全局只配logger一次
7. 日志何去何从?
   日志作为python中的标准库模块,也支持如过滤,文件锁等高级功能,暂时还没怎么应用就不扯犊子了 (^▽)

感谢您的阅读,以上是本人遇到过或学习过程记录的笔记,水平有限,仅供参考,如果发现错误请及时联系作者,谢谢!

欢迎进我的个人博客Danniel'S,不定时更新,祝
共同进步!