python日记之--logging日志

---

title: python的LOGGING模块
date: 2018-04-10 01:55:05
tags: python 基础

---

自从开通了简书,我就每天拿着刷刷一波美文,时不时想着趁程序运行着,来简书上记录生活点点滴滴。

接着上篇文章写吧,先说说日志:

1. 日志的作用
   通过log的分析,可以方便用户了解系统或软件、程序应用的运行情况。web方面,如果你的应用log足够丰富,那可以分析用户的操作行为,喜好、地域分布或其他更多信息。爬虫方面,通过设置不同级别的等级,那么可以得到实时的状况反馈,及时发现问题并快速定位,解决问题,甚至有时可以补救损失。
   日志的作用可以简单总结三点：程序DEBUG调试，程序运行情况，是否有异常，软件程序运行是否有故障。
   2.日志的等级

LEVEL	description
DEBUG	指出细粒度信息事件对调试应用程序是非常有帮助的，主要用于开发过程中打印一些运行信息
INFO	消息在粗粒度级别上突出强调应用程序的运行过程。打印一些你感兴趣的或者重要的信息，这个可以用于生产环境中输出程序运行的一些重要信息，但是不能滥用，避免打印过多的日志。
NOTICE
WARING	表明会出现潜在错误的情形，有些信息不是错误信息，但是也要给程序员的一些提示。
ERROR	指出虽然发生错误事件，但仍然不影响系统的继续运行。打印错误和异常信息，如果不想输出太多的日志，可以使用这个级别
CRITICAL
ALERT
EMERGENCY

进入主题吧,python的LOGGING模块

logging模块简介:
logging模块是Python的一个标准库模块，由标准库模块提供日志记录API的关键好处是所有Python模块都可以使用这个日志记录功能

1. logging模块的日志级别

日志等级(level)	描述(description)
DEBUG	最详细的日志信息,典型应用场景是 问题诊断
INFO	信息详细程度仅次于DEBUG,通常只记录关键节点信息
WARING	当某些不期望的事情发生时记录的信息(如:版本问题,存储可用空间较低),但此时还能正常运行
ERROR	由于一个更严重的问题导致某些功能不能正常运行时记录的信息
CRITICAL = FATAL	当发生严重错误时,导致应用程序不能继续运行时记录的信息

开发应用程序或部署开发环境时，可以使用DEBUG或INFO级别的日志获取尽可能详细的日志信息来进行开发或部署调试；应用上线或部署生产环境时，应该使用WARNING或ERROR或CRITICAL级别的日志来降低机器的I/O压力和提高获取错误日志信息的效率。日志级别的指定通常都是在应用程序的配置文件中进行指定的。

2. logging的基本用法

  #-*- coding:utf-8 -*-
  import logging
  #指定logger的输出格式
  formatter = logging.Formatter('%(asctime)s %(levelname)-8s: %(message)s')
  #文件日志
  file_handler = logging.FieldHandler('xxx.log')
  file_handler = setFormatter(formatter)  #可以通过setFormatter指定输出格式


  # 控制台日志
  console_handler = logging.StreamHandler(sys.stdout)
  console_handler.formatter = formatter  # 也可以直接给formatter赋值

  # 为logger添加的日志处理器
  logger.addHandler(file_handler)
  logger.addHandler(console_handler)

  # 指定日志的最低输出级别，默认为WARN级别
  logger.setLevel(logging.INFO)

  # 输出不同级别的log
  logger.debug('this is debug info')
  logger.info('this is information')
  logger.warn('this is warning message')
  logger.error('this is error message')
  logger.fatal('this is fatal message, it is same as logger.critical')
  logger.critical('this is critical message')

  #移除一些日志处理
  logger.removeHandler(file_handler)

3. scrapy中如何使用logging日志呢?
   为了让我们自己希望输出到终端的内容能容易看一些：
   我们可以在setting中设置log级别
   在setting中添加一行（全部大写）：LOG_LEVEL = "WARNING”
   默认终端显示的是debug级别的log信息

通过在setting.py中进行以下设置可以被用来配置logging:(具体设置参考代码的custom-settings)

LOG_ENABLED 默认: True，启用logging
LOG_ENCODING 默认: 'utf-8'，logging使用的编码
LOG_FILE 默认: None，在当前目录里创建logging输出文件的文件名
LOG_LEVEL 默认: 'DEBUG'，log的最低级别
LOG_STDOUT 默认: False 如果为 True，进程所有的标准输出(及错误)将会被重定向到log中。例如，执行 print "hello" ，其将会在Scrapy log中显示

#此种方法无法显示log位置
import logging
def process_item(self,item,spider):
    logging.warning(item)

#添加__name__就能够显示log位置
import logging
logger=logging.getLogger(__name__)
def process_item(self,item,spider):
    logging.warning(item)

4. 格式化输出日志

service_name = "Spider"
logger.error('%s service is down!' % service_name) # 使用python自带的字符串格式化，不推荐
logger.error('%s service is down!', service_name) # 使用logger的格式化，推荐
logger.error('%s service is %s!', service_name, 'down') # 多参数格式化
logger.error('{} service is {}'.format(service_name, 'down')) # 使用format函数，推荐

5. 那现在就来说说Formatter日志写法吧
   Formatter 对象定义了log信息的结构和内容,构造时需要带两个参数:

• 格式化的模板fmt,默认会包含最近本的level和message信息
• 格式化的时间样式,默认为%Y-%m-%d %H:%M:%S 如:2018-04-10.
  fmt中允许使用的变量可以参考如下表:

参数变量	含义
%(name)s	Logger的名字
%(message)s	用户输出的消息
%(process)d 进程ID
%(threadName)s 线程名
%(thread)d 线程ID
%(asctime)s	字符串形式的当前时间。默认格式是“2003-07-08 16:49:45,896”。逗号后面的是毫秒
%(relativeCreated)d	输出日志信息时的，自Logger创建以来的毫秒数
%(created)f	当前时间，用UNIX标准的表示时间的浮点数表示
%(lineno)d	调用日志输出函数的语句所在的代码行
%(funcName)s	调用日志输出函数的函数名
%(module)s	调用日志输出函数的模块名
%(filename)s	调用日志输出函数的模块的文件名
%(pathname)s	调用日志输出函数的模块的完整路径名，可能没有
%(levelno)s	数字形式的日志级别
%(levelname)s	文本形式的日志级别

6. 日志重复输出的坑
   你有可能会看到你的日志会重复显示多次,请注意是否使用了重复的handler
   暂时没出现打印日志错误,嘿嘿有可能是自己写的log需求不大吧,在公司里正儿八经的,这要记录日志,那要记录日志,估计重复可能性还是蛮大的。
   还是记录下来,以后会用到:
   • 调用basicConfig()方法时系统会默认创建一个handler,如果你再添加一个控制台handler时就会出现重复日志
   • 每次调用get_logger()方法时都会添加一个新的handler 那岂不是很明显的呵呵了....建议全局只配logger一次
7. 日志何去何从?
   日志作为python中的标准库模块,也支持如过滤,文件锁等高级功能,暂时还没怎么应用就不扯犊子了 (^▽)

感谢您的阅读,以上是本人遇到过或学习过程记录的笔记,水平有限,仅供参考,如果发现错误请及时联系作者,谢谢!

欢迎进我的个人博客Danniel'S,不定时更新,祝
共同进步!