码迷,mamicode.com
首页 > 编程语言 > 详细

python:爬虫1——实战(下载一张图片、用Python模拟浏览器,通过在线的有道词典来对文本翻译)

时间:2017-05-09 13:42:18      阅读:239      评论:0      收藏:0      [点我收藏+]

标签:fan   des   http   orm   client   tar   提交   span   logs   

一、下载一只猫

import urllib.request

response = urllib.request.urlopen("http://cdn.duitang.com/uploads/item/201111/24/20111124222137_wHYwc.jpg")
cat_img = response.read()

with open(cat_0.jpeg, wb) as f:
    f.write(cat_img)

 

urlopen()中的url可以是string,也可以是request object,因此可以是:

import urllib.request

req = urllib.request.Request("http://cdn.duitang.com/uploads/item/201111/24/20111124222137_wHYwc.jpg")
response = urllib.request.urlopen(req)
cat_img = response.read()

with open(cat_0.jpeg, wb) as f:
    f.write(cat_img)

 

response.geturl()得到url地址

response.info()得到HTTPMessage对象,可以通过print()得到head信息

response.getcode()得到服务器的状态码200(正常响应)

二、利用有道词典翻译文本

<审查元素>network——preview,找到需要的path

然后切到headers——关注general、request headers(客户端发送请求的headers,服务端可以在此判断是否人为访问,User-Agent)python url/3.4、From Data、

urlopen()中data为None以get提交,有参数用post方式提交,data参数必须是一个标准格式application/x-www-form-urlencoded,可以用urllib.parse.urlencode()来将字符串转化为这个格式

import urllib.request
import urllib.parse
import json

url = http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule&sessionFrom=http://fanyi.youdao.com/

data = {
i:china,
from:AUTO,
to:AUTO,
smartresult:dict,
sign:cf928c9af5dc3731276ad09db002e052,
client:fanyideskweb,
salt:1494249290636,
doctype:json,
version:2.1,
keyfrom:fanyi.web,
action:FY_BY_CLICKBUTTON,
typoResult:true
}

data = urllib.parse.urlencode(data).encode(utf8)
response = urllib.request.urlopen(url, data)
html = response.read().decode(utf-8)

print(html)    #发现是json格式

target = json.loads(html)

print(target)   #打印还原的json

 但是当客户端码是python,并且当一个ip访问太多后,服务器会拉黑ip!

 

python:爬虫1——实战(下载一张图片、用Python模拟浏览器,通过在线的有道词典来对文本翻译)

标签:fan   des   http   orm   client   tar   提交   span   logs   

原文地址:http://www.cnblogs.com/daduryi/p/6829969.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!