爬虫相关 爬虫的概念 爬虫的工作原理 HTTP HTTP工作原理 网络爬虫爬取过程可以理解为，模拟浏览器操作的过程。 浏览器的主要功能是向服务器发送请求，在浏览器窗口中展示你选择的网络资源，HTTP是一套计算机通过网络进行通信的规则。 HTTP的请求与响应 HTTP通信由两部分组成：客服端请求消息与 ...
分类：
其他好文 时间：
2020-05-27 09:22:42
阅读次数：
97
1、请求headers处理 我们有时请求服务器时，无论get或post请求，会出现403错误，这是因为服务器拒绝了你的访问，这时我们可以通过模拟浏览器的头部信息进行访问，这样就可以解决反爬设置的问题。 import requests # 创建需要爬取网页的地址 url = 'https://www. ...
分类：
编程语言 时间：
2020-05-21 00:33:50
阅读次数：
75
爬取简书思路： 1）使用selenium模拟浏览器打开网页2）由于分页是通过点击【阅读更多】按钮来加载数据的，因此需要模拟单击该按钮3）确定要爬取多少页的数据，如果要爬取10页的数据，就需要模拟单机10次【阅读更多】按钮4）单击该按钮后，需要定位这个信息列表元素，然后使用xpath提取数据5）提取到 ...
分类：
其他好文 时间：
2020-05-19 20:19:19
阅读次数：
48
前言 好看视频大部分是精品短视频！相同的接口返回不同的视频给用户 今天就带大家把系统推荐的视频给爬取下来！ 知识点 1、动态数据抓包演示 2、json数据解析方法 3、视频数据保存 环境介绍 python 3.6 pycharm requests json 爬虫的一般思路 1、分析目标网页，确定爬取 ...
分类：
其他好文 时间：
2020-05-13 21:54:02
阅读次数：
100
#coding=utf-8 #HTTPHandler & opener #更高级一些功能，可以高仿模拟浏览器 import urllib.request import urllib.parse url = "https://www.baidu.com/"; handler = urllib.requ ...
分类：
编程语言 时间：
2020-05-07 20:18:30
阅读次数：
136
一、概述 requests 作者开发，集成 pyppeteer。 最近爬虫遇到的情况是，爬取的网站使用JavaScript渲染的，网站爬取的结果只有一堆JS代码。之前遇到这种情况的处理办法是用Splash(一般是配合Scrapy)，或者Selenium来爬取，介绍一下常用的模拟浏览器执行，来爬去js ...
分类：
Web程序 时间：
2020-04-21 14:47:07
阅读次数：
80
html 爬虫基础 概念 模拟浏览器发送网络请求，获取响应 分类 通用爬虫 搜索引擎的爬虫，面对整个互联网上所有的网站 聚焦爬虫 针对特定网站的爬虫 分类标准：爬虫爬取的范围 流程 1.url 2.发送请求，获取响应 (提取url地址，发送下一次请求) 3.提取数据 保存 rebots协议 道德层面 ...
分类：
其他好文 时间：
2020-04-20 01:32:33
阅读次数：
90
01-Python 零基础入门爬虫开发-爬虫简介 一 什么是爬虫? 网络爬虫(网络蜘蛛 网络机器人) 就是模拟浏览器去访问和获取互联网上信息的一个程序 二 爬虫的分类 通用网络爬虫 百度 谷歌 雅虎... 搜索引擎 特点:关键字获取既定目标 覆盖率很大 聚焦网络爬虫 特点:到互联网上有选择有目的的去 ...
分类：
编程语言 时间：
2020-04-17 18:29:06
阅读次数：
79
什么是requests模块？ Python中封装好的一个基于网络请求的模块。 requests模块的作用？ 用来模拟浏览器发请求 requests模块的环境安装： pip install requests requests模块的编码流程： 1.指定url 2.发起请求 3.获取响应数据 数据解析 4 ...
分类：
其他好文 时间：
2020-04-15 21:31:11
阅读次数：
89
requests模块 爬虫中一个基于网络请求的模块 pip install requests 作用：模拟浏览器发起请求 编码流程： 1 . 指定url 2 . 发起请求 3 . 获取响应数据（爬取到的页面源码数据） 4 . 进行持久化存储 简单例子： 实现一个简易网页采集器 基于搜狗针对指定不同的关 ...
分类：
其他好文 时间：
2020-04-12 20:19:35
阅读次数：
78
