码迷,mamicode.com
首页 > 其他好文 > 详细

爬虫基本原理

时间:2018-04-24 14:57:05      阅读:148      评论:0      收藏:0      [点我收藏+]

标签:原理   options   页面   drive   head   ghost   如何   对象   状态码   

什么是爬虫?

  请求网站并提取数据的自动化程序。

  请求:用程序实现

  提取:要从文本提取有用的信息

  自动化:程序可以一直运行,不断向服务器发起请求

爬虫基本流程

  1. 发起请求:通过HTTP库向目标站点发起请求,即发送一个Request,请求可以包含额外的headers等信息,等待服务器响应。
  2. 获取响应内容:如果服务器能正常反应,会得到一个Response,Response的内容就是所要获取的页面内容,类型可能有HTML,Json字符串,二进制数据(如图片视频)等类型。
  3. 解析内容:得到的内容可能是html,可以用正则表达式、网页解析库进行解析。可能是Json,可以直接转为Json对象解析,可能是二进制数据,可以做保存或进一步的处理。
  4. 保存数据:保存形式多样,可以保存为文本,也可保存至数据库,或者保存特定格式的文件。

浏览器如何向服务器请求信息

  Request:浏览器发送信息给该网址所在的服务器

  Response:服务器收到浏览器发送的信息后,能够根据浏览器发送消息的内容,做相应的处理,然后把消息回传给浏览器

  浏览器经过Request和收到服务器的Response之后,会对信息进行相应处理,然后展示。

Request

  包含四部分:

  请求方式:主要有GET、POST两种各类型,另外还有HEAD、PUT、DELETE、OPTIONS等

  请求URL:URL全程统一资源定位符

  请求头:包含请求时的头部信息,如User-Agent、Host、Cookies等信息

  请求体:请求时额外携带的数据,如表单提交时的表单数据

Response

  响应状态:用状态码反应响应状态

  响应头:如内容类型、内容长度、服务器信息、设置Cookie等等

  响应体:最主要的部分,包含了请求资源的内容,如HTML、图片二进制数据等

爬虫能抓取怎样的数据:

  网页文本:HTML文档、Json

  图片:二进制文件

  视频:二进制文件

  其他:只要是能请求到的,都能抓取

解析方式:

  1. 直接处理
  2. Json解析
  3. 正则表达式
  4. BeautifulSoup
  5. PyQuery
  6. Xpath

解决JavaScript渲染的问题:

  分析Ajax请求

  Selenium/WebDriver

  Splash

  PyV8、Ghost.py

保存数据:

  文本方式

  关系型数据库

  非关系型数据库:key-value方式

  二进制文件

爬虫基本原理

标签:原理   options   页面   drive   head   ghost   如何   对象   状态码   

原文地址:https://www.cnblogs.com/betterluo/p/8929777.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!