常见模块(二)

>>> shutil.make_archive("test111","gztar",root_dir=‘D:/test1‘)
‘D:\\test1\\test111.tar.gz‘
>>>
注：把D:/test1目录下的所有文件都压缩成一个压缩包，压缩包名字为test111

4.ZipFile 和 TarFile 压缩包 处理模块

4.1.ZipFile模块

import zipfile

# 压缩z = zipfile.ZipFile(‘test.zip‘, ‘w‘) 定义一个压缩文件
z.write(‘a.log‘) 添加里面压缩内容
z.write(‘data.data‘)  添加里面压缩内容
z.close()  完成压缩# 解压z = zipfile.ZipFile(‘test.zip‘, ‘r‘)z.extractall()  可设置解压地址
z.close()
4.1.tarfile模块

import tarfile
# 压缩
tar = tarfile.open(‘test11.tar‘,‘w‘)
tar.add(‘/Users/....../xxx.zip‘, arcname=‘xxx.zip‘)
tar.add(‘/Users/....../yyy.zip‘, arcname=‘yyy.zip‘)
tar.close()
# 解压
tar = tarfile.open(‘test11.tar‘,‘r‘)
tar.extractall()  # 可设置解压地址
tar.close()


5.json 和 pickle ,序列化
import  pickle,json
pickle 只有python有，json是所有语言通用的。  使用“b”参数，进行二进制读写。
pickle基本可以序列化列表、字典、元组、函数等，转换内容更多，而jsion仅能进行常用的内容转换
Json模块提供了四个功能：dumps、dump、loads、load
pickle模块提供了四个功能：dumps、dump、loads、load
import pickle 
data = {‘k1‘:123,‘k2‘,‘123‘}
p_str = pickle.dumps(data)
print （p_str）
pickle.dumps 将数据通过特殊的形式转换为只有python语言能识别的字符串。
with open(‘e:/test.txt‘,‘w‘) as ft:
         pikcle.dump (data,fp)
pikcle.dump 将数据通过特殊的形式转换为只有python语言能识别的字符串。并写入文件。
json.dumps  将数据通过特殊的形式转换为所有程序语言都能认识的字符串
json.dump  将数据通过特殊的形式转换为所有程序语言都能认识的字符串，并写入文件。

load、loads 和dump、 dumps功能正好相反。
pikcle 和 json 的区别在于，pikcle能对python环境下任何格式文件存储到文件中，通过load/loads进行还原后仍是原有的格式。而json则只能对字符串等常见格式进行格式化存储，因此假若程序只在python环境下运行，使用pikcle最为合适，若需要与其他程序进行互通，则需要使用json,保障其他语言能读取。
dump多少次load就可以多少次，但读取必须按照dump的顺序读取


6.shelve 模块 是一个简单的k,v将内存数据通过文件持久化的模块，可以持久化任何pickle可支持的python数据格式
可以一次写很多个文件，然后按照k进行选择性的读取，而和pickle区别在于，pickle虽然也能进行多个文件连续写，但是读的时候仅能进行顺序读取，不能选择性的读取。
dump多少次load就可以多少次，但读取必须按照dump的顺序读取
在shelve模块中，key必须为字符串，而值可以是python所支持的数据

import  shelve
t1 = [123]
t2 = [‘test1‘,‘test2‘]
t3 = {‘name‘:‘test‘,‘age‘:‘18‘}
d = shelve.open(‘shelve_test‘) #打开一个文件
########################将上面的数据写入shelve_test中################
d[‘t1‘] = t1
d[‘t2‘] = t2
d[‘t3‘] = t3
d.close()
###################################################################
for i in d:
    print(i)
获取结果如下：
t2
t3
t1

print(d[t1])
这时候就可以使用键值进行指定读取
print(dir(d))
常用的方法：可以修改、删除、添加等等
[‘_MutableMapping__marker‘, ‘__abstractmethods__‘, ‘__class__‘, ‘__contains__‘, ‘__del__‘, ‘__delattr__‘, ‘__delitem__‘, ‘__dict__‘, ‘__dir__‘, ‘__doc__‘, ‘__enter__‘, ‘__eq__‘, ‘__exit__‘, ‘__format__‘, ‘__ge__‘, ‘__getattribute__‘, ‘__getitem__‘, ‘__gt__‘, ‘__hash__‘, ‘__init__‘, ‘__iter__‘, ‘__le__‘, ‘__len__‘, ‘__lt__‘, ‘__module__‘, ‘__ne__‘, ‘__new__‘, ‘__reduce__‘, ‘__reduce_ex__‘, ‘__repr__‘, ‘__setattr__‘, ‘__setitem__‘, ‘__sizeof__‘, ‘__slots__‘, ‘__str__‘, ‘__subclasshook__‘, ‘__weakref__‘, ‘_abc_cache‘, ‘_abc_negative_cache‘, ‘_abc_negative_cache_version‘, ‘_abc_registry‘, ‘_protocol‘, ‘cache‘, ‘clear‘, ‘close‘, ‘dict‘, ‘get‘, ‘items‘, ‘keyencoding‘, ‘keys‘, ‘pop‘, ‘popitem‘, ‘setdefault‘, ‘sync‘, ‘update‘, ‘values‘, ‘writeback‘]




7.xml处理模块，xml是实现不同语言或程序之间进行数据交换的协议，跟json差不多
例子：
默认XML文件
<?xml version="1.0"?>
<test_xml>
    <country name="soft">
        <test1 updated="yes">2</test1>
                <test2 updated="yes">5</test2>
        <year>2008</year>
        <rank>30</rank>
        <gdppc>1111</gdppc>
    </country>
    <country name="test2">
        <test2 updated="yes">5</test2>
        <year>2011</year>
        <gdppc>59900</gdppc>
        <rank>61</rank>
    </country>
</test_xml>

增、删、改、查XML文件操作：
#!/usr/bin/env python
# -*-coding:utf-8 -*-
import xml.etree.ElementTree as ET     #导入xml中的模块并定义个别名
tree = ET.parse("xml_base.xml")  #打开xml文件
root = tree.getroot()  #获取root节点
print(root.tag)  #打印xml的root节点名字

执行结果：
test_xml
#遍历xml文档
for i in root:
    print(i.tag, i.attrib)  #获取第一级节点名字
    for i2  in i:
        print(‘---->‘,i2.tag,i2.text)  #获取第一级节点内容
执行结果:
country {‘name‘: ‘soft‘}
----> test1 2
----> test2 5
----> year 2008
----> rank 30
----> gdppc 1111
country {‘name‘: ‘test2‘}
----> test2 5
----> year 2011
----> gdppc 59900
----> rank 61

# 只遍历包括year的 节点
for node in root.iter(‘year‘):
    print(node.tag,node.text)
执行结果：
year 2008
year 2011

#修改
for node in root.iter(‘year‘):
    new_year = int(node.text) + 1  #修改‘year’的值
    node.text = str(new_year)
    node.set("updated","yes") #同时增加内容
tree.write("xmltest.xml")
# 修改完成后的结果：
# 原来：<year>2008</year>
# 修改后：<year updated="yes">2009</year>
#删除node
for country in root.findall(‘country‘):  #查找所有"country"的节点
   rank = int(country.find(‘rank‘).text)  #获取rank的值
   if rank > 50:    #若rank值大于50，进行删除操作。
     root.remove(country)
tree.write(‘output.xml‘)  #生成一个新的文件

新建XML文件操作：
#新建文件
import xml.etree.ElementTree as ET
new_xml = ET.Element("test")  #定义root节点名字
name = ET.SubElement(new_xml,"name",attrib={"enrolled":"yes"})  #定义一级节点名字及赋值
age = ET.SubElement(name,"age",attrib={"checked":"no"})  #定义二级节点名字及赋值
sex = ET.SubElement(name,"sex")  定义二级目录下键值并赋值
sex.text = ‘33‘
name2 = ET.SubElement(new_xml,"name",attrib={"enrolled":"no"})
age = ET.SubElement(name2,"age")
age.text = ‘19‘
et = ET.ElementTree(new_xml) #生成文档对象
et.write("test.xml", encoding="utf-8",xml_declaration=True)
ET.dump(new_xml) #打印生成的格式

import configparser  #导入模块
config = configparser.ConfigParser()
config["DEFAULT"] = {‘Servername‘: ‘soft‘,
                      ‘port‘: ‘8888‘,
                     ‘defaultname‘: ‘9‘}
config[‘soft.com‘] = {}
config[‘soft.com‘][‘defaultdir‘] = ‘/usr/soft‘
config[‘test.server.com‘] = {}
topsecret = config[‘test.server.com‘]
topsecret[‘Host Port‘] = ‘50022‘     # mutates the parser
topsecret[‘Forward‘] = ‘no‘  # same here
config[‘DEFAULT‘][‘ForwardX11‘] = ‘yes‘
with open(‘example.ini‘, ‘w‘) as configfile:
   config.write(configfile)

import configparser
config = configparser.ConfigParser()
config.read(‘example.ini‘)  #读取example.ini文件

    #########查询操作#####################
test = config.sections()
print(test)
执行结果：
[‘soft.com‘, ‘test.server.com‘, ‘test1.server.com‘]
#这里获取的文件没有[DEFAULT]，因为[DEFAULT]为全局变量（这个名字是固定的），具体获取方式如下：
test2 = config.defaults()
print(test2)
执行结果：
OrderedDict([(‘defaultname‘, ‘9‘), (‘port‘, ‘8888‘), (‘servername‘, ‘soft‘), (‘forwardx11‘, ‘yes‘)])
print(‘bitbucket.org‘ in config)  
执行结果：False
print(‘soft.com‘ in config)
执行结果：True
test3 = config.options(‘soft.com‘)
print(‘test3‘,test3)  #读取‘soft.com‘下面的所有文件，这个时候会把全局变量全部加入进入。
执行结果：
test3 [‘defaultdir‘, ‘defaultname‘, ‘port‘, ‘servername‘, ‘forwardx11‘]

test4 = config[‘soft.com‘][‘defaultdir‘]
print(‘test4‘,test4)  #读取‘soft.com‘下的‘defaultdir‘值
执行结果：
test4 /usr/soft
val = config.get(‘test.server.com‘,‘host port‘)
print(val)  #获得结果和上面一样
执行结果：
50022
test5 = config.items(‘test.server.com‘)  #以列表形式读取‘test.server.com‘下的所有内容
print(‘test5‘,test5)
执行结果:
test5 [(‘defaultname‘, ‘9‘), (‘port‘, ‘8888‘), (‘servername‘, ‘soft‘), (‘forwardx11‘, ‘yes‘), (‘host port‘, ‘50022‘), (‘forward‘, ‘no‘)]

#########添加#####################
sec = config.has_section(‘test1.server.com‘)   #判断值是否已经存在配置文件中
sec = config.add_section(‘test1.server.com‘)   #新添加一个键值
config.write(open(‘example.ini‘, "w"))
#########修改#####################
config.set(‘test1.server.com‘,‘timeout‘,‘30‘)  #在配置文件下添加一个键值
config.write(open(‘example.ini‘, "w"))
#########键值删除#####################
config.remove_option(‘test1.server.com‘,‘timeout‘) #删除一个键值
config.write(open(‘example.ini‘, "w"))
#########整体值删除#####################
sec = config.remove_section(‘timeout‘)  #删除值,若不存在不会报错
config.write(open(‘example.ini‘, "w"))