log模块的讲解
1 Python 使用logging模块记录日志涉及四个主要类，使用官方文档中的概括最为合适： 2 3 logger提供了应用程序可以直接使用的接口API； 4 handler将(logger创建的)日志记录发送到合适的目的输出； 5 formatter决定日志记录的最终输出格式 6 filter提供了细度设备来决定输出哪条日志记录； 7 8 logger 9 每个程序在输出信息之前都要获得一个Logger。Logger通常对应了程序的模块名， 10 比如聊天工具的图形界面模块可以这样获得它的Logger：LOG=logging.getLogger(”chat.gui”) 11 12 还可以绑定handler和filters 13 Logger.setLevel(lel):指定最低的日志级别，低于lel的级别将被忽略。debug是最低的内置级别，critical为最高 14 Logger.addFilter(filt)、Logger.removeFilter(filt):添加或删除指定的filter 15 Logger.addHandler(hdlr)、Logger.removeHandler(hdlr)：增加或删除指定的handler 16 每个Logger可以附加多个Handler。接下来我们就来介绍一些常用的Handler： 17 logging.StreamHandler 使用这个Handler可以向类似与sys.stdout或者sys.stderr的任何文件对象(file object)输出信息。 18 logging.FileHandler 和StreamHandler 类似，用于向一个文件输出日志信息。不过FileHandler会帮你打开这个文件 19 logging.handlers.RotatingFileHandler 20 这个Handler类似于上面的FileHandler，但是它可以管理文件大小。 21 当文件达到一定大小之后，它会自动将当前日志文件改名，然后创建 一个新的同名日志文件继续输出。 22 比如日志文件是chat.log。当chat.log达到指定的大小之后， 23 RotatingFileHandler自动把 文件改名为chat.log.1。 24 不过，如果chat.log.1已经存在，会先把chat.log.1重命名为chat.log.2。。。 25 最后重新创建 chat.log，继续输出日志信息。 26 函数格式： RotatingFileHandler( filename[, mode[, maxBytes[, backupCount]]]) maxBytes最大长度 backupCount保留的文件个数 27 logging.handlers.TimedRotatingFileHandler 28 这个Handler和RotatingFileHandler类似，不过，它没有通过判断文件大小来决定何时重新创建日志文件， 29 而是间隔一定时间就 自动创建新的日志文件。重命名的过程与RotatingFileHandler类似， 30 不过新的文件不是附加数字，而是当前时间。 31 它的函数是：TimedRotatingFileHandler( filename [,when [,interval [,backupCount]]]) 32 when=“S” 秒计算 interveal间隔 backupCount保留的文件个数 33 S 秒 M 分 H 小时 D天 W 每星期（interval==0时代表星期一）midnight 每天凌晨 34 formatter 组件 35 日志的formatter是个独立的组件，可以跟handler组合 36 fh = logging.FileHandler("access.log") 37 formatter = logging.Formatter(‘%(asctime)s - %(name)s - %(levelname)s - %(message)s‘) 38 fh.setFormatter(formatter) #把formmater绑定到fh上 39 如果你想对日志内容进行过滤，就可自定义一个filter 40 class IgnoreBackupLogFilter(logging.Filter): 41 """忽略带db backup 的日志""" 42 def filter(self, record): #固定写法 43 return "db backup" not in record.getMessage() 44 45 # 注意filter函数会返加True or False，logger根据此值决定是否输出此日志 46 47 # 然后把这个filter添加到logger中 48 # logger.addFilter(IgnoreBackupLogFilter())
import logging
from logging import handlers
# 设置一个输出到屏幕上的handler
log_p_handler = logging.StreamHandler()
# 定义一个输入文件的handler
log_f_handler = logging.FileHandler("xx.log", encoding="utf8")
# 这个是那日志截断的例子，按照长度截断
log_f_handler_1 = handlers.RotatingFileHandler("xxx.log", maxBytes=10, backupCount=2, encoding="utf8")
log_f_handler_1.setLevel(logging.WARNING)
log_f_handler.setLevel(logging.WARNING) # 给出入到文件的handler定义一个日志级别
log_p_handler.setLevel(logging.INFO) # 给出入到屏幕的handler定义一个日志级别
fm_p = logging.Formatter("%(asctime)s-%(levelname)s->%(message)s", datefmt="%Y-%m-%d %I:%M:%S") # 定义两个格式
fm_f = logging.Formatter("%(asctime)s-%(filename)s-%(levelname)s->%(message)s", datefmt="%Y-%m-%d %I:%M:%S")
# 把格式分别加到 对用的handler中
log_f_handler.setFormatter(fm_f)
log_f_handler_1.setFormatter(fm_f)
log_p_handler.setFormatter(fm_p)
log = logging.getLogger("test") # 生成一个log接口
# 将自己定义的handler 加到log中
log.addHandler(log_p_handler)
log.addHandler(log_f_handler)
log.addHandler(log_f_handler_1)
# 设置log全局的日志级别 如果不设置 则默认WARNING级别
log.setLevel(logging.INFO)
log.info("info log")
log.warning("warn log")
log.debug("debug log")
subproess模块提供统一的模块来实现对系统命令或脚本的调用
# 三种执行命令的方法 # subprocess.run(*popenargs, input=None, timeout=None, check=False, **kwargs) #官方推荐 # subprocess.call(*popenargs, timeout=None, **kwargs) #跟上面实现的内容差不多，另一种写法 # #subprocess.Popen() #上面各种方法的底层封装 # run的标准写法 import subprocess subprocess.run([‘df‘, ‘-h‘], stderr=subprocess.PIPE, stdout=subprocess.PIPE, check=True) # 参数解析：[‘df‘,‘-h‘] 列表 执行命令 subprocess 会拼接起来 stdout 标准输出=PIPE管道符 check 检查TRUE则报错 # 此外还可以跟shell=TRUE 这样就可以直接写命令 ： subprocess.run(‘df -h|grep disk1‘, shell=True) # shell=True的意思是这条命令直接交给系统去执行，不需要python负责解析 # 执行命令，返回命令执行状态 ， 0 or 非0 retcode = subprocess.call(["ls", "-l"]) # 执行命令，如果命令结果为0，就正常返回，否则抛异常 subprocess.check_call(["ls", "-l"]) # 0 # 接收字符串格式命令，返回元组形式，第1个元素是执行状态，第2个是命令结果 subprocess.getstatusoutput(‘ls /bin/ls‘) # (0, ‘/bin/ls‘) # 接收字符串格式命令，并返回结果 subprocess.getoutput(‘ls /bin/ls‘) # ‘/bin/ls‘ # 执行命令，并返回结果，注意是返回结果，不是打印，下例结果返回给res res = subprocess.check_output([‘ls‘, ‘-l‘]) # res= b‘total 0\ndrwxr-xr-x 12 alex staff 408 Nov 2 11:05 OldBoyCRM\n‘ # Popen 不会等待命令执行返回结果 而是返回一个句柄 a调用poll()方法可以检测a的指定状态 a = subprocess.Popen(‘sleep 10‘, shell=True, stdout=subprocess.PIPE) #这里还有其他方法 就不一一赘述了 # a.wait() a.kill() a.pid() # a.send_signal() a.terminate()
hashlib：用于加密相关的操作，代替了md5模块和sha模块，主要提供 SHA1, SHA224, SHA256, SHA384, SHA512 ，MD5 算法
import hashlib
# 用于加密相关的操作，3.x里代替了md5模块和sha模块，主要提供 SHA1, SHA224, SHA256, SHA384, SHA512 ，MD5 算法
m=hashlib.md5()
m.update(bytes("我", encoding="utf8"))
m.update(b‘it is me ‘)
print("二进制", m.digest())
print("十六进制", m.hexdigest())
#以上加密算法虽然依然非常厉害，但时候存在缺陷，即：通过撞库可以反解。所以，有必要对加密算法中添加自定义key再来做加密。
print("".center(50,"*"))
m1=hashlib.md5(bytes("生成时加密",encoding="utf8"))
m1.update(bytes("我", encoding="utf8"))
m1.update(b‘it is me ‘)
print("二进制", m.digest())
print("十六进制", m.hexdigest())
re模块：正则表达式就是字符串的匹配规则，在多数编程语言里都有相应的支持，python里对应的模块是re
‘.‘ 默认匹配除\n之外的任意一个字符，若指定flag DOTALL,则匹配任意字符，包括换行 # ‘^‘ 匹配字符开头，若指定flags MULTILINE,这种也可以匹配上(r"^a","\nabc\neee",flags=re.MULTILINE) # ‘$‘ 匹配字符结尾， 若指定flags MULTILINE ,re.search(‘foo.$‘,‘foo1\nfoo2\n‘,re.MULTILINE).group() 会匹配到foo1 # ‘*‘ 匹配*号前的字符0次或多次， re.search(‘a*‘,‘aaaabac‘) 结果‘aaaa‘ # ‘+‘ 匹配前一个字符1次或多次，re.findall("ab+","ab+cd+abb+bba") 结果[‘ab‘, ‘abb‘] # ‘?‘ 匹配前一个字符1次或0次 ,re.search(‘b?‘,‘alex‘).group() 匹配b 0次 # ‘{m}‘ 匹配前一个字符m次 ,re.search(‘b{3}‘,‘alexbbbs‘).group() 匹配到‘bbb‘ # ‘{n,m}‘ 匹配前一个字符n到m次，re.findall("ab{1,3}","abb abc abbcbbb") 结果‘abb‘, ‘ab‘, ‘abb‘] # ‘|‘ 匹配|左或|右的字符，re.search("abc|ABC","ABCBabcCD").group() 结果‘ABC‘ # ‘(...)‘ 分组匹配， re.search("(abc){2}a(123|45)", "abcabca456c").group() 结果为‘abcabca45‘ # # # ‘\A‘ 只从字符开头匹配，re.search("\Aabc","alexabc") 是匹配不到的，相当于re.match(‘abc‘,"alexabc") 或^ # ‘\Z‘ 匹配字符结尾，同$ # ‘\d‘ 匹配数字0-9 # ‘\D‘ 匹配非数字 # ‘\w‘ 匹配[A-Za-z0-9] # ‘\W‘ 匹配非[A-Za-z0-9] # ‘s‘ 匹配空白字符、\t、\n、\r , re.search("\s+","ab\tc1\n3").group() 结果 ‘\t‘ # # ‘(?P<name>...)‘ 分组匹配 re.search("(?P<province>[0-9]{4})(?P<city>[0-9]{2})(?P<birthday>[0-9]{4})","371481199306143242").groupdict("city") # 结果{‘province‘: ‘3714‘, ‘city‘: ‘81‘, ‘birthday‘: ‘1993‘}
import re
s = ‘ab23cd121rf‘
res=re.match("[0-9]",s) #从头开始匹配 匹配一个就结束
print(res)
res = re.search("[0-9]{2}", s) # 从全部的字符匹配 匹配一个就结束
print(res) # 对象 取里面的值则为group 没有则报错，那结果之前需要判断
if res:
print(res.group())
else:
print("none!")
print(re.findall("[0-9]", s)) # 匹配所有 符合 就 把它放在列表
print(re.search(".", "aaa")) # 从开头一直找 找到 任意字符返回
print(re.search("^a", "aaa")) # 相当于match(‘a‘)
print(re.search("^ab", "abaab")) # 相当于match(‘a‘)
print(re.search("ab+$", "abaabb")) # 从最后开始找。以abb(多个b)结尾的
print(re.search("[a|A]lex","alexAlex")) #自己的理解就是拿着alex
#或 Alex在字符里面找 找到一个满足就可以
print(re.search("[a|A]lex","aaAlex"))
s = ‘120980199612098769‘
#必须是字符匹配
print(re.search("(\d{6})(\d{4})(\d{4})",s).groups())
#分组匹配的装逼
print(re.search("(?P<province>\d{6})(?P<year>\d{4})(?P<mothon>\d{4})", s).groupdict())
f = open("联系方式.txt", encoding="gbk")
data = f.read()
print(data)
f.close()
res = re.findall("(1\d{10})", data) # 手机号码
print(res)
s = "alex22jack22rain33"
print(re.split("\d", s)) # 按照一种格式分割
print(re.split("\d+", s))
s1 = "alex22jack22rain33#mock-oldboy"
print(re.split("\d+|#|-", s1))
# 所给字符全部匹配成功则返回字符否则为0
# print(re.fullmatch(‘\w+@\w+\.(com|cn|edu)‘,"alex@oldboyedu.cn"))
# 模糊找到需要匹配的字符替换
print(re.sub("[\d+|#|-]", "_", s1))
s = ‘9-2*5/3+7/3*99/4*2998+10*568/14‘
# print(re.split(‘[\*\-/+]‘,s)) #转义需要\ 来表达
print(re.split(‘[\*\-/+]‘, s, maxsplit=2)) # 转义需要\ 来表达 maxsplit 匹配前几个之后停止匹配
# [‘9‘, ‘2‘, ‘5‘, ‘3‘, ‘7‘, ‘3‘, ‘99‘, ‘4‘, ‘2998‘, ‘10‘, ‘568‘, ‘14‘]
