标签：页面 rom www. 而不是 import pil print net 手机号
#####################总结##############
优点: 灵活, 功能性强, 逻辑性强.
缺点: 上手难,旦上手, 会爱上这个东西
工具: 各大文本编辑器一般都有正则匹配功能. 我们也可以去 http://tool.chinaz.com/regex/进行在线测试.
正则表达式由普通字符和元字符组成,普通字符包含大小写字母, 数字,在匹配普通字符的时候我们直接写就可以了
(1) 字符组
字符组很简单用[]括起来,在[]中出现的内容会被匹配,例如:[abc] 匹配a或b或c
[a-z] 匹配a到z之间的所有字母, [0-9]匹配所有阿拉伯数字
[a-zA-Z0-9] : 匹配的是大写字母,小写字母和阿拉伯数字
(2)简单元字符
(3)量词
当一次性匹配多个字符时,需要用到量词
(4)惰性匹配和贪婪匹配
在量词中 *,+,{ }都属于贪婪匹配,就是尽可能多的匹配到结果.
str: 麻花藤昨天让英雄联盟关服了 reg: 麻花藤.* 此时匹配的是整句话
在使用.*后面如果加了? 则是尽可能少的匹配,
str: 麻花藤昨天让英雄联盟关服了 reg: 麻花藤.*? 此时匹配的是 麻花藤
.*?x的特殊含义找到下一X为止
str: abcdefgxhijklmn reg: .*?x 结果: abcdefgx
(5) 分组
在正则中使用()进行分组.
比如. 我们要匹配身份证号,身份证号分成两种,老的身份证号有15位,新的身份证号有18位,并且新的身份证号结尾有可能是x
给出以下正则: ^[1-9]\d{13,16}[0-9x]$ 错误 ^[1-9]\d{14}(\d{2}[0-9x])?$ 正确 ^([1-9]\d{16}[0-9x]|[1-9]\d{14})$ 正确
(6)转义:
在正则表达式中, 有很多有特殊意义的是元字符,比如\n和\s等,如果要在正则中匹 配正常的"\n"而不是"换行符"就需要对"\"进行转义, 变成‘\\‘.
在python中, 无论是正则表达式, 还是待匹配的内容, 都是以字符串的形式出现的, 在字符串中\也有特殊的含义, 本身还需要转义.
所以如果匹配一次"\n", 字符串中要写成‘\\n‘, 那么正则里就要写成"\\\\n",这样就太麻烦了. 这个时候我们就用到了r‘\n‘这个概念, 此时的正则是r‘\\n‘就可以了
2. re模块
re模块是python提供的一套关于处理正则表达式的模块.核心功能有四个:
(1) ?ndall 查找所有. 返回list
import re lst = re.findall("a","adsadjafaaowjf") print(lst) #[‘a‘, ‘a‘, ‘a‘, ‘a‘, ‘a‘] lst = re.findall(r"\d+","12年了,你只挣了10000") print(lst) #[‘12‘, ‘10000‘]
(2)search进行匹配,但是如果匹配到了第一个结果,就会返回这个结果,如果匹配不上search返回的则是None
ret = re.search(r"\d","20年了,你只挣了20000").group() print(ret)
(3)match 只能从字符串的开头进行匹配
ret = re.match(‘a‘, ‘abc‘).group() #如果没有取group就会报错 print(ret) # a
(4) ?nditer 和?ndall差不多,只不过这时返回的是迭代器
it = re.finditer("m","mdhahsfofncamdnmdadod") for el in it : print (el.group()) #依然需要分组
(5)其他操作
ret = re.split("[ab]","qwerafjbcd") #先按"a"分割得到"qwer"和"fjbcd",再对"qwer"和"fjbcd"按"b"分割 print(ret) #[‘qwer‘, ‘fj‘, ‘cd‘]
ret = re.sub(r"\d+","_sb_","alex250taibai250wusir250ritian38") # 把字符串中的数字换成__sb__ print(ret) #alex_sb_taibai_sb_wusir_sb_ritian_sb_
ret = re.subn(r"\d+","_sb_","alex250taibai250wusir250ritian38") # 把字符串中的数字换成__sb__返回元组(替换的结果,替换了多少次) print(ret) #(‘alex_sb_taibai_sb_wusir_sb_ritian_sb_‘, 4)
compile()
obj = re.compile(r‘\d{3}‘) # 将正则表达式编译成为一个正则表达式对象,规则要匹配的是3个数字 ret = obj.search("ajdjffafk456") # 正则表达式对象调?用search, 参数为待匹配的字符串串 print(ret.group()) #456
re爬虫重点:
obj = re.compile(r"(?P<id>\d+)(?P<name>e+)") # 从正则表达式匹配的内容每个组起名字 ret = obj.search("abc123eee") #搜索 print(ret.group()) #123eee print(ret.group("id")) #123 #获取id组的内容 print(ret.group("name")) #eee 获取name组的内容
(6)两个坑
注意: 在re模块中和我们在线测试工具中的结果可能是不一样的
ret = re.findall(‘www.(baidu|oldboy).com‘, ‘www.oldboy.com‘) print(ret) # 结果 [‘oldboy‘] 这是因为findall会优先把匹配结果组里内容返回,如果想要匹配结果,取消权限即可 ret = re.findall(‘www.(?:baidu|oldboy).com‘, ‘www.oldboy.com‘) print(ret) # [‘www.oldboy.com‘]
split里也有一个坑
ret=re.split("\d+","eva3egon4yuan") print(ret) #结果 ： [‘eva‘, ‘egon‘, ‘yuan‘] ret=re.split("(\d+)","eva3egon4yuan") print(ret) #结果 ： [‘eva‘, ‘3‘, ‘egon‘, ‘4‘, ‘yuan‘] #在匹配部分加上（之后所切出的结果是不不同的) #没有（）的没有保留所匹配的项，但是有()的却能够保留了匹配的项， #这个在某些需要保留匹配部分的使用过程是非常重要的
1.手机号的匹配
^[1-9]\d{14}(\d{2}[0-9x])?$
2.将douban250的电影信息爬下来.并将信息写入文件中
import re from urllib.request import urlopen import ssl #有时候需要 ssl._create_default_https_context = ssl._create_unverified_context def get_page(url): response = urlopen(url) return response.read().decode("utf-8") def parse_page(s): outcome =re.compile(r‘<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>\d+).*? <span class="title">(?P<title>.*?)</span>.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*? <span>(?P<comment_num>.*?)评价</span>‘,re.S) result = outcome.finditer(s) for i in result: yield {"id": i.group("id"), "title": i.group("title"), "rating_num": i.group("rating_num"), "comment_num": i.group("comment_num"), } def main(num): url =‘https://movie.douban.com/top250?start=%s&filter=‘ % num response = get_page(url) result = parse_page(response) with open("movie_info1", "a", encoding="utf8") as f: for el in result: print(el) data = str(el) f.write(data + "\n") count = 0 for i in range(10): main(count) count += 25
3.爬取电影天堂最新电影地址
from urllib.request import urlopen import re import json main_url = "https://www.dytt8.net/" reg = re.compile(r‘\[<a href="/html/gndy/dyzz/index.html">最新电影下载</a>\]<a href=\‘(?P<url>.*?)\‘>‘, re.S) son_reg = re.compile(r‘<div id="Zoom">.*?◎片 名(?P<name>.*?)<br />.*?◎主 演(?P<main>.*?)<br />◎简 介.*?<td style="WORD-WRAP: break-word" bgcolor="#fdfddf"><a href="(?P<download>.*?)">‘, re.S) # 获取主页面内容 def get_main_page(): main_page = urlopen(main_url).read().decode("gbk") # 主页面 it = reg.finditer(main_page) lst = [] for el in it: d = get_son_page(main_url+el.group("url")) lst.append(d) # indent 控制格式 json.dump(lst, open("movie.json", mode="w", encoding="utf-8"), indent=4, ensure_ascii=False) # 获取子页面内容 def get_son_page(son_url): content = urlopen(son_url).read().decode("gbk") it = son_reg.finditer(content) for el in it: return {"name":el.group("name").strip(), "main":el.group("main").strip().replace(" ", "").split("<br />"), "download":el.group("download").strip()} get_main_page()
标签：页面 rom www. 而不是 import pil print net 手机号
原文地址：https://www.cnblogs.com/zaizai1573/p/10197949.html
