码迷,mamicode.com
首页 > 编程语言 > 详细

python爬虫

时间:2017-11-06 23:00:17      阅读:221      评论:0      收藏:0      [点我收藏+]

标签:不同   遇到   性能   ons   tcp   窗口   复杂   lld   line   

爬虫原理
模拟请求→拿到数据→根据数据不同的类型用不同的方式解析→存储
 
学习步骤
1、http协议
2、请求库:requests,(urlib3比较复杂,不建议)
    requests请求库只能把页面内容下载本地以后,并不能执行js代码(浏览器可以
    需要分析目标站点策略
3、解析库:re,beautifulsoup,pyquery
4、存储库:文件,MySQL,Mongodb,Redis
5、性能相关:异步IO
6、框架:scrapy
 
Http协议的8种请求
常用:GET  向特定服务端获取数据,数据在url中传输。
常用:POST   向服务端提交数据,数据包含在请求体中,
其他请求方式:HEAD,PUT,DELETE,OPTIONS,TRACE,CONNECT
 
网页的加载过程是:
加载一个网页,通常都是先加载document文档,
在解析document文档的时候,遇到链接,则针对超链接发起下载图片的请求
 
请求头
User-Agent:请求头中如果没有user-agent客户端配置,服务端可能将你当做一个非法用户
host
cookies:cookie用来保存登录信息
一般做爬虫都会加上请求头

例如:
User-Agent
Mozilla/5.0 (Windows NT 10.0; …) Gecko/20100101 Firefox/56.0
 
Host 请求头指明了服务器的域名(对于虚拟主机来说),以及(可选的)服务器监听的TCP端口号。
HTTP Cookie(也叫Web cookie或者浏览器Cookie)是服务器发送到用户浏览器并保存在浏览器上的一块数据,它会在浏览器下一次发起请求时被携带并发送到服务器上。比较典型的,可以它用来确定两次请求是否来自于同一个浏览器,从而能够确认和保持用户的登录状态。Cookie使得基于无状态的HTTP协议记录稳定的状态信息成为了可能。
 
 
请求体
  如果是get方式,请求体没有内容
   如果是post方式,请求体是form data

    ps:
    1、登录窗口,文件上传等,信息都会被附加到请求体内
    2、登录,输入错误的用户名密码,然后提交,就可以看到post,正确登录后页面通常会跳转,无法捕捉到post 
 
 
响应
 
#1、响应状态
    200:代表成功
    301:代表跳转
    404:文件不存在
    403:权限
    502:服务器错误

#2、respone header
    set-cookie:可能有多个,是来告诉浏览器,把cookie保存下来
    
#3、preview就是网页源代码
    最主要的部分,包含了请求资源的内容
    如网页html,图片
    二进制数据等
 
爬虫所需工具:
    请求库:requests,selenium
    解析库:正则,beautifulsoup,pyquery
    存储库:文件,MySQL,Mongodb,Redis
 
requests模块
requests模块可以模拟浏览器的请求,比起urllib,requests模块的api更加便捷,本质就是封装了urllib3。
 
 
#注意:requests库发送请求将网页内容下载下来以后,并不会执行js代码,这需要我们自己分析目标站点然后发起新的request请求
 
#各种请求方式:常用的就是requests.get()和requests.post()
>>> import requests
>>> r = requests.get(https://api.github.com/events)
>>> r = requests.post(http://httpbin.org/post‘, data = {key‘:value})
>>> r = requests.put(http://httpbin.org/put‘, data = {key‘:value})
>>> r = requests.delete(http://httpbin.org/delete)
>>> r = requests.head(http://httpbin.org/get)
>>> r = requests.options(http://httpbin.org/get)

 
未完待续
 
 
 
 
 
 
 
 
 
 
 
 

python爬虫

标签:不同   遇到   性能   ons   tcp   窗口   复杂   lld   line   

原文地址:http://www.cnblogs.com/ArmoredTitan/p/7795349.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!