标签：思维 登录 转换 doc put 识别 直接 添加 需要
爬虫章节
1.python如何访问互联网
URL（网页地址）+lib=》urllib
2.有问题查文档：python document.
3.response = urllib.request.urlopen(""www.baidu.com)
html =html.decode("utf-8") 破除二进制的解码操作
4.读取网页图片 wb:二进制
urlopen=request + urlopen
（浏览器和客户端的通信内容）
GET：从服务器请求获得数据
POST：向指定服务器提交被处理的数据
8分45秒点击POST（translate？smartresult）
点开之后点击Preview就可以看到被翻译的内容。
（1）然后分析一下headers的内容
①Status Code：200 正常响应的意思 404表示不正常响应
②Request Headers服务器。一般通过下面的User-Agent识别是浏览器访问还是代码访问
③Form Data：POST提交的主要内容
（2）POST需要指定的data格式，可以通过parse转换格式
（3）代码实现翻译POST功能
import urllib.request
Import urllib,parse
url=’ ’ //Headers下面的Request URL
Data={ } //也就是Headers下面的From Data
Type:AUTO
I:l love FishC.com!
doctype:json
xmlVersion:1.6
Keyfrom:fanyi.web
Ue:UTF-8
typoRsult:true
Response = urllib.request.urlopen(url,data)
修改：
Data[‘type’] = ‘AUTO’
Data[‘i’]=’I love FishC.com!’
Data[‘doctype’] = ‘json’
Data[‘xmlVersion’] = ‘1.6’
Data[‘keyfrom’] = ‘fanyi.web’
Data[‘ue’] = ‘UTF-8’ UTF-8是对unicode很灵活的编码形式
Data[‘typoRsult’] = ‘true’
Urllib.parse.urlencode(data) //编码形式
Response = urllib.request.urlopen(url,data).encode (‘utf-8’) //python默认的是unicode形式
Html = response.read().decode(‘utf-8’) //把其他编码形式变成unicode形式
Print (html)
//输出的是一个json结构
Import json
Json.loads(html) //载入之后发现就是一个字典
Target = json.loads(html)
Type(target)
输出：<class ‘dict’> 字典形式
Target[‘translateResult’]
输出：[[{‘tgt’:’我爱FishC.com@’,’src’:’I love FishC.com!’}]]
>>>target[‘translateResult’][0][0][‘tgt’]
输出：’我爱FishC.com!’
经过以上的分析，代码如下：
Import urllib.request
Import urllib,parse
Import json
Content = input(“请输入需要翻译的内容:”)
Url = ‘http:..fanyi.youdao.com/translagte?smartresult=dict&smartresult=;xxxxx’
Data = {}
Data[‘type’] = ‘AUTO’
Data[‘i’]=’I love FishC.com!’
Data[‘doctype’] = ‘json’
Data[‘xmlVersion’] = ‘1.6’
Data[‘keyfrom’] = ‘fanyi.web’
Data[‘ue’] = ‘UTF-8’ UTF-8是对unicode很灵活的编码形式
Data[‘typoRsult’] = ‘true’
Urllib.parse.urlencode(data).encode(‘utf-8’) //编码形式
Response = urllib.request.urlopen(url,data)
Html = response.read().decode(‘utf-8’)
Target = json.loads(html)
Print(“翻译结果:%s” %(target[‘translateResult’][0][0][‘tgt’]))
（1）方法一：通过Request的headers参数修改
添加代码
Head = {}
Head[‘User-Agent’] = ‘ 把代码head里的user-agent拷贝过来即可’
（2）方法二：通过Request.add_header（）方法修改
在req = urllib.request.Request(url,data,head)
Req.add_header(‘User-Agent’,’那个网站’)
（1）延迟访问时间(不建议使用)
（2）代理
①参数是一个字典{‘类型’:’代理ip:端口号’}
Proxy_support = urllib.request.ProxyHandler({})
②定制、创建一个opener
Opener = urllib.request.build_opener(proxy_support)
③a.安装opener
Urllib.request.install_opener(opener)
B.调用opener
Opener.open(url)
（直接搜索代理ip就行）
Import urllib.request
Url = ‘http://www.whatismyip.com.tw’
Proxy_support = urllib.request.ProxyHandler({‘http’:’’119.6.144.73:81’})
Opener = urllib.request.build_opener(proxy_support)
Urllib.request.install_opener(opener)
Urllib.request.urlopen(url)
Html = response.read().decode(‘utf-8’)
Print(html)
④修改opener的headers如下:
Import urllib.request
Url = ‘http://www.whatismyip.com.tw’
Proxy_support = urllib.request.ProxyHandler({‘http’:’’119.6.144.73:81’})
Opener = urllib.request.build_opener(proxy_support)
Opener.addheaders = [(‘user-agent’,’就是那个网页的内容’)]
Urllib.request.install_opener(opener)
Urllib.request.urlopen(url)
Html = response.read().decode(‘utf-8’)
Print(html)
⑤建立多个ip
Import urllib.request
Import random //使用random，随机使用ip
Url = ‘http://www.whatismyip.com.tw’
Iplist = [‘119.6.144.73L81’,’183.203.208.166:8118’,’ ’]
Proxy_support = urllib.request.ProxyHandler({‘http’:’’random.choice(iplist’})
Opener = urllib.request.build_opener(proxy_support)
Opener.addheaders = [(‘user-agent’,’就是那个网页的内容’)]
Urllib.request.install_opener(opener)
Urllib.request.urlopen(url)
Html = response.read().decode(‘utf-8’)
Print(html)
Import urllib.request
Import os //在当前目录创建文件夹
Def get_page(url);
Req = urllib.request.Request(url)
Req.add_header(‘User-Agent’,’head网址’)
response
Def Find_imgs(url):
pass
Def save_imgs(folder,img_addrs):
pass
Def download_mm(folder=’ooxx’,pages=10): //pages表示下载10页
os.mkdir(folder) //创建文件夹的名字folder
Os.chdir(folder)
Url=”http://jandan.net/ooxx”
page_num =int(get_page(url))
For i in range(pages):
Page_num-=i
Page_url = url+’page-’+str(page_num) + ‘#comments’ //此时已经获取了地址
//接下来要打开网站获取图片的地址
Img_addrs = Find_imgs(page_url)
Save_imgs(img_addrs) //要熟悉明白模块化思维
If __name__ == ‘__main__’:
Download_mm()
附加：If __name__ == ‘__main__’作用：测试模块可用性。
9.想调用函数的话，直接输入一下就行了。
比如我定义了
Def url_open(url):
Req = urllib.request.Request(url)
Req.add_header(‘User-Agent’,’地址’)
Response = urllib.request.urlopen(url)
Html = response.read()
Return html
如果想在def get_page(url)里面使用url的话
就直接 html = url_open(url).decode(‘utf-8’)
也就是说其实这个是和数学上的函数引用一样的。
（1）search方法是在内容中找到第一次匹配成功的位置；
（2） . ：表示任何文件名（不包括换行符），通配符
（3）如果想寻找.。就用\.
（4）\d：匹配一个所有数字
（5）匹配ip地址 ：\d\d\d\.\d\d\d\.\d\d\d
（6）Re.search(r’[aeiou]],’I loce FishC.com!’)
（7）小横杠表示范围 [a-z] [0-9]
（8）限制匹配次数：re.search(r’ab{3}c’,’abbbc’)
（9）给匹配次数添加范围:re.search(r’ab{3,10}c’,’abbbbbbbc’)
（10）正则表达式没有十百千的概念，只有数字的概念
Re.search(r’[01]\d\d|2[0-4]\d|25[0-5]’,’188’) 0-255
（11）{0,1}重复0次或者1次，0次就是表示不重复，可有可无，可以不存在。
（1）Scrapy是爬虫的孙子兵法。
（2）
标签：思维 登录 转换 doc put 识别 直接 添加 需要
原文地址：http://www.cnblogs.com/osmondwang/p/7764406.html
