Python之mmap内存映射模块（大文本处理）

m=mmap.mmap(fileno, length[, flags[, prot[, access[, offset]]]])

m.close()
关闭 m 对应的文件；

m.find(str, start=0)
从 start 下标开始，在 m 中从左往右寻找子串 str 最早出现的下标；

m.flush([offset, n])
把 m 中从offset开始的n个字节刷到对应的文件中；

m.move(dstoff, srcoff, n)
等于 m[dstoff:dstoff+n] = m[srcoff:srcoff+n]，把从 srcoff 开始的 n 个字节复制到从 dstoff 开始的n个字节，可能会覆盖重叠的部分。

m.read(n)
返回一个字符串，从 m 对应的文件中最多读取 n 个字节，将会把 m 对应文件的位置指针向后移动；

m.read_byte() 
返回一个1字节长的字符串，从 m 对应的文件中读1个字节，要是已经到了EOF还调用 read_byte()，则抛出异常 ValueError；

m.readline()
返回一个字符串，从 m 对应文件的当前位置到下一个‘\n‘，当调用 readline() 时文件位于 EOF，则返回空字符串；

m.resize(n) ***有问题，执行不了***
把 m 的长度改为 n，m 的长度和 m 对应文件的长度是独立的；

m.seek(pos, how=0)
同 file 对象的 seek 操作，改变 m 对应的文件的当前位置；

m.size()
返回 m 对应文件的长度（不是 m 对象的长度len(m)）；

m.tell()
返回 m 对应文件的当前位置；

m.write(str)
把 str 写到 m 对应文件的当前位置，如果从 m 对应文件的当前位置到 m 结尾剩余的空间不足len(str)，则抛出 ValueError；

m.write_byte(byte)
把1个字节（对应一个字符）写到 m 对应文件的当前位置，实际上 m.write_byte(ch) 等于 m.write(ch)。如果 m 对应文件的当前位置在 m 的结尾，也就是 m 对应文件的当前位置到 m 结尾剩余的空间不足1个字节，write() 抛出异常ValueError，而 write_byte() 什么都不做。

>>> import os,mmap
>>> m=mmap.mmap(os.open(‘test.txt‘,os.O_RDWR),0)  #创业内存映射对象，
>>> m.read(10)                                    #可以使用方法
‘-- MySQL d‘
>>> m.close()                                     #关闭对象
>>> m.read(10)                                    #方法不可用
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ValueError: mmap closed or invalid

>>> m.find(‘SET‘,0)      #从头开始查找第一次出现SET的字符串
197

>>> m.read(10)         #读取10字节的字符串
‘-- MySQL d‘
>>> m.read(10)         #读取上面10字节后，再往后的10字节数据
‘ump 10.13 ‘

>>> m.read_byte()   #读取第一个字节
‘-‘
>>> m.read_byte()   #读取第二个字节
‘-‘
>>> m.read_byte()   #读取第三个字节
‘ ‘

>>> m.readline()             #读取一正行
‘-- MySQL dump 10.13  Distrib 5.6.19, for osx10.7 (x86_64)\n‘
>>> m.readline()             #读取下一正行
‘--\n‘

>>> m.size()            #整个文件的大小
782

>>> m.tell()        #当前光标的位置0
0
>>> m.read(10)      #读取10个字节
‘-- MySQL d‘
>>> m.tell()        #当前光标位置10
10

>>> m.seek(10)        #当前光标定位到10
>>> m.tell()          #读取当前光标的位置
10
>>> m.read(10)        #读取当前光标之后的10字节内容
‘ump 10.13 ‘

>>> m[101:108]            #切片101到108的值
‘-------‘
>>> m[1:8]                #切片1到8的值
‘- MySQL‘
>>> m.move(1,101,8)       #从101开始到后面的8字节（108），替换从1开始到后面的8字节（8）效果：m[1:8]=m[101:108] 
>>> m[1:8]                #被替换后
‘-------‘

>>> m.tell()                #当前光标位置
0 
>>> m.write(‘zhoujy‘)       #写入str，要是写入的大小大于原本的文件，会报错。m.write_byte(byte)不会报错。

>>> m.tell()                #写入后光标位置 
6 

>>> m.seek(0)               #重置，光标从头开始 

>>> m.read(10)              #查看10个字节，确定是否被修改成功 
‘zhoujy---d‘

#!/usr/bin/python
# -*- encoding: utf-8 -*-

import mmap
import contextlib

f = open(‘test.txt‘, ‘r‘)
with contextlib.closing(mmap.mmap(f.fileno(), 0,access=mmap.ACCESS_READ)) as m:
#readline需要循环才能读取整个文件
    while True:
        line = m.readline().strip()
        print line
        #光标到最后位置（读完），就退出
        if m.tell()==m.size(): 
            break

#!/usr/bin/python
# -*- encoding: utf-8 -*-

import mmap
import contextlib

with open(‘test.txt‘, ‘r‘) as f:
    with contextlib.closing(mmap.mmap(f.fileno(), 0,access=mmap.ACCESS_READ)) as m:
        print ‘读取10个字节的字符串 :‘, m.read(10)
        print ‘支持切片，对读取到的字符串进行切片操作:‘, m[2:10]
        print ‘读取之前光标后的10个字符串‘, m.read(10)

#!/usr/bin/python
# -*- encoding: utf-8 -*-

import mmap
import contextlib

word = ‘ZHOUJY‘
print ‘查找:‘, word

f = open(‘test.txt‘, ‘r‘)
with contextlib.closing(mmap.mmap(f.fileno(), 0,access=mmap.ACCESS_READ)) as m:
    #也可以通过find(str,pos)来处理
    while True: 
        line = m.readline().strip()
        if line.find(word)>=0:
            print "结果："
            print line
        elif m.tell()==m.size():
            break
        else:
            pass

#!/usr/bin/python
# -*- encoding: utf-8 -*-

import mmap
import contextlib

word = ‘ZHOUJY‘
print ‘查找:‘, word

f = open(‘test.txt‘, ‘r‘)
with contextlib.closing(mmap.mmap(f.fileno(), 0,access=mmap.ACCESS_READ)) as m:
    #不需要循环，只要找到一个就可以了
    loc = m.find(word)
    if loc >= 0:
        print loc
        print m[loc:loc+len(word)]

#!/usr/bin/python
# -*- encoding: utf-8 -*-

import mmap
import re
import contextlib
  
pattern = re.compile(r‘(40\d*)‘)
  
with open(‘test.txt‘, ‘r‘) as f:
    with contextlib.closing(mmap.mmap(f.fileno(), 0,access=mmap.ACCESS_READ)) as m:
        print pattern.findall(m)

1:替换文本中第一次出现的内容
~$ date && sed -i ‘0,/USE `edcba`;/s//USE `ABCDE`;/‘ test.sql && date
2016年 11月 16日 星期三 12:04:17 CST
2016年 11月 16日 星期三 12:06:02 CST

2:替换文本中指定行的内容
~$ date && sed -i ‘24s/USE `ABCDE`;/USE `edcba`;/‘ test.sql && date
2016年 11月 16日 星期三 12:09:05 CST
2016年 11月 16日 星期三 12:10:50 CST

#!/usr/bin/python
# -*- encoding: utf-8 -*-

import mmap
import contextlib
import re


word = ‘USE `EDCBA`;‘
replace = ‘USE `ABCDE`;‘
print ‘查找:‘, word
print‘替换:‘, replace

f = open(‘test.sql‘, ‘r+‘)
with contextlib.closing(mmap.mmap(f.fileno(), 0,access=mmap.ACCESS_WRITE)) as m:
    loc = m.find(word)
    if loc >=0:
        print loc
        m[loc:loc + len(word)] = replace

~$ date && python mmap_python.py && date
2016年 11月 16日 星期三 12:14:19 CST
查找: USE `EDCBA`;
替换: USE `ABCDE`;
929
2016年 11月 16日 星期三 12:14:19 CST

~$ date && sed -i ‘s/ENGINE=InnoDB/ENGINE=MyISAM/g‘ test.sql && date
2016年 11月 16日 星期三 12:19:30 CST
2016年 11月 16日 星期三 12:21:20 CST 

#!/usr/bin/python
# -*- encoding: utf-8 -*-

import mmap
import contextlib

word    = ‘ENGINE=MyISAM‘
replace = ‘ENGINE=InnoDB‘
print ‘查找:‘, word
print‘替换:‘, replace

loc = 0
f = open(‘test.sql‘, ‘r+‘)
with contextlib.closing(mmap.mmap(f.fileno(), 0,access=mmap.ACCESS_WRITE)) as m:
    while True:
        loc = m.find(word,loc)
        if loc >=0:
            print loc
            m[loc:loc + len(word)] = replace
            #要是access=mmap.ACCESS_COPY需要执行flush
            #m.flush()
        elif loc == -1:
            break
        else:
            pass

~$ date && python mmap_python.py && date
2016年 11月 16日 星期三 13:19:30 CST
查找: ENGINE=MyISAM
替换: ENGINE=InnoDB
1663
5884938
11941259
12630481
12904261
64852169
64859312
65018692
65179617
65181544
65709930
149571849
3592900115
5874952354
7998151839
2016年 11月 16日 星期三 13:19:55 CST

1）sed：替换文本中第一次出现的内容
~$ date && sed -i ‘0,/USE `EDCBA`;/s//USE `ABCDE`;/‘ test.sql && date
2016年 11月 17日 星期四 11:15:33 CST
2016年 11月 17日 星期四 11:21:47 CST

2）mmap：替换文本中第一次出现的内容（使用replace_keyword_once方法，查到一个就处理退出，越靠前越快）
~$ python mmap_search.py --filename=‘test.sql‘ --oldword="USE \`EDCBA\`;" --newword="USE \`ABCDE\`;"
USE `ABCDE`; 替换成 USE `EDCBA`; 
cost time: 0.000128984451294

3）sed：替换文本中出现的内容(查找处理整个文本)
~$ date && sed -i ‘s/ENGINE=InnoDB/ENGINE=MyISAM/g‘ test.sql && date
2016年 11月 17日 星期四 10:04:49 CST
2016年 11月 17日 星期四 10:11:34 CST

4）mmap：替换文本中出现的内容(使用replace_keyword_all方法，查找处理整个文本)
~$ python mmap_search.py --filename="test.sql" --oldword="ENGINE=MyISAM" --newword="ENGINE=InnoDB"
ENGINE=InnoDB 替换成 ENGINE=MyISAM 
cost time: 198.471223116