热线电话：13121318867

登录
首页精彩阅读python中日志logging模块的性能及多进程详解
python中日志logging模块的性能及多进程详解
2018-05-17
收藏

python中日志logging模块的性能及多进程详解

使用Python来写后台任务时，时常需要使用输出日志来记录程序运行的状态，并在发生错误时将错误的详细信息保存下来，以别调试和分析。Python的logging模块就是这种情况下的好帮手。本文就介绍了python中日志logging模块性能及多进程的相关资料，需要的朋友可以参考下。


Java 中最通用的日志模块莫过于 Log4j 了，在 python 中，也自带了 logging 模块，该模块的用法其实和 Log4j 类似。日志是记录操作的一种好方式。但是日志，基本都是基于文件的，也就是要写到磁盘上的。这时候，磁盘将会成为一个性能瓶颈。对于普通的服务器硬盘（机械磁盘，非固态硬盘），Python日志的性能瓶颈是多少呢？今天我们就来测一下。下面话不多说，来一起看看详细的介绍：

测试代码如下：

#! /usr/bin/env python
#coding=utf-8
  
# ============================
# Describe : 给平台提供的日志
# D&P Author By:  常成功
# Create Date:  2016/08/01
# Modify Date:  2016/08/01
# ============================
  
importtime
importos
importlogging
  
  
print"Start test ...."
s_tm=time.time()
test_time=10.0# 测试时间10秒
e_tm=s_tm+10
j=0
  
pid=str(os.getpid())
while1:
 now_time=time.time()
 j+=1
 ifnow_time > e_tm:
  break
 # 生成文件夹
 lujing="d:\\test_log"
 ifnotos.path.exists(lujing):
  os.mkdir(lujing)
  
 fm2='%Y%m%d'
 YMD=time.strftime(fm2, time.localtime(now_time))
  
 filename='recharge_'+YMD+'.log'
 log_file=os.path.join(lujing, filename)
 t="\t"
 log_msg=str(j)+t+str(now_time)+t+pid
  
 the_logger=logging.getLogger('recharge_log')
 f_handler=logging.FileHandler(log_file)
 the_logger.addHandler(f_handler)
 the_logger.setLevel(logging.INFO)
 # To pass exception information, use the keyword argument exc_info with a true value
 the_logger.info(log_msg, exc_info=False)
 the_logger.removeHandler(f_handler)
  
rps=j/test_time
printrps,"rows per second"

结果为：

Start test ....

2973.0 rows per second

Python的logging性能：

7200转的机械磁盘，测了几次，每秒的能写入日志的行数（每行就是一条日志），数量基本在 2800-3000 之间。此时，磁盘IO基本已经跑满。（在3.3Ghz的CPU上，CPU占用大约40%）。

Python的logging多进程：

python 的 logging模块，是线程安全的。但对于多进程的程序来说，怎么去写日志文件呢？我的解决办法是，每个进程的PID，写一个单独的日志文件。再用算法把所有进程的日志合并起来，生成新的日志。

提示：由于磁盘IO已经到达瓶颈，所以多进程并不能提高日志性能。高性能日志，需要用缓存，或者分布式日志。

总结

以上就是这篇文章的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助.


CDA学员免费下载查看报告全文：2026全球数智化人才指数报告【CDA数据科学研究院】.pdf


CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>>   “CDA报名” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试教材；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试题库；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

▷ 想了解CDA院校合作，点击>>> “院校合作” 了解咨询CDA院校合作；

python

数据分析咨询请扫描二维码

若不方便扫码，搜微信号：CDAshujufenxi

上一篇未来大数据对中小企业发展的影响
下一篇区块链挖矿是什么?区块链如何挖矿
数据分析师考试动态
CDA报考指南
数据分析学习
数据分析师资讯
更多

CDA教育闭环

常见问题

关于我们

CDA数据分析师公众号

  • CDA数据分析师公众号

CDA考试中心小程序

  • CDA考试中心服务号

CDA数据分析师App下载

  • CDA数据分析师App下载
Copyright © 2015-2021, www.cda.cn All Rights Reserved. CDA数据分析师(北京国富如荷网络科技有限公司) 版权所有 京ICP备11001960号-9 京公网安备 11010802034615号 经营许可证编号：京B2-20210330
联系电话：13321103290 (微信同号)

OK
客服在线
立即咨询
客服在线
立即咨询