前言 selenium是一个模拟浏览器的自动化执行框架，但是如果每次执行都要打开浏览器来处理任务的话，效率上都不高。最重要的是如果安装在Centos7服务器环境下，打开浏览器来模拟操作是更加不合适的，尤其是碰上需要截取网页图片这样的需求。 这时候就要考虑使用Chrome的无头浏览器模式了。所谓的无头 ...
分类：
编程语言 时间：
2019-12-17 13:04:32
阅读次数：
115
有道词典的web接口，实际上可以用爬虫模拟，输入key，拼接为有道词典接口的formdata，爬取返回值，实际为Ajax动态生成的translation，这样外部来看实现了翻译接口的模拟，相当于爬虫模拟浏览器调用了有道词典web接口，其实讲真的话来说，直接调用有道web接口，传json参数就可以了， ...
分类：
编程语言 时间：
2019-12-15 16:44:34
阅读次数：
108
介绍:selenium最初是一个测试工具，而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 1 from selenium im... ...
分类：
其他好文 时间：
2019-12-15 12:28:25
阅读次数：
72
原谅我这个标题党，对叭起 最近没事觉得网课恶心人，“你们学计算机的，随便写个程序玩玩，很容易哒” 语出高数老师，于是我就“随便”写了个刷网课的程序，没什么nb算法，请各路大神指教 原谅我的个别函数名和变量名用了拼音，别喷我low呜呜呜（其实就是懒，打拼音顺手了，这是个坏习惯，大家别学我） 以上的都是 ...
分类：
编程语言 时间：
2019-12-12 15:15:33
阅读次数：
557
requests 什么是requests模块 python中封装好的一个基于网络请求的模块 作用 用来模拟浏览器发送请求 环境安装 编码流程 指定 url 发起请求 获取响应数据 持久化存储 爬取搜狗首页的页面源码数据 上述代码执行后发现： 1.出现了乱码 2.数据量级不对 UA检测：门户网站通过检 ...
分类：
其他好文 时间：
2019-12-11 13:07:54
阅读次数：
93
requests请求，就是用python的requests模块模拟浏览器请求，返回html源码 模拟浏览器请求有两种，一种是不需要用户登录或者验证的请求，一种是需要用户登录或者验证的请求 一、不需要用户登录或者验证的请求 这种比较简单，直接利用requests模块发一个请求即可拿到html源码 #! ...
分类：
Web程序 时间：
2019-12-08 00:49:57
阅读次数：
128
一.爬虫是什么 模拟浏览器发送请求 >下载网页代码 >只有提取有用的数据 >存放于数据库或文件中 二.爬虫的基本流程 1.发送请求 使用http库向目标站点发起请求，即发送一个Request Request包含：请求头，请求体 2.获取响应内容b 如果服务器能正常响应，则会得到一个Response ...
分类：
其他好文 时间：
2019-12-02 23:55:29
阅读次数：
195
requests模块的基本使用 基于网络请求的模块。 环境的安装：pip install requests 作用：模拟浏览器发起请求 分析requests的编码流程： 1.指定url 2.发起了请求 3.获取响应数据 4.持久化存储 需求：爬取搜狗首页的页面源码数据 需求：简易的网页采集器 上述代码 ...
分类：
其他好文 时间：
2019-12-02 17:25:13
阅读次数：
159
爬虫 什么是爬虫 就是通过编写程序模拟浏览器上网，让其去互联网中抓取数据的过程。 爬虫的分类： 通用爬虫：爬取一整张页面源码数据。 聚焦爬虫：爬取页面中局部的数据。一定是在通用爬虫的基础上实现。 数据解析 增量式爬虫：用来监测网站数据更新的情况。以便于爬取最新更新出来的数据！ 爬虫合法性探究： 爬虫 ...
分类：
其他好文 时间：
2019-12-02 17:07:01
阅读次数：
101
介绍 官方文档 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 from selen ...
分类：
其他好文 时间：
2019-11-26 19:23:42
阅读次数：
52
