response.text 返回的是一个 unicode 型的文本数据 response.content 返回的是 bytes 型的二进制数据 为什么请求需要带上header? 模拟浏览器，欺骗服务器，获取和浏览器一致的内容 header的形式：字典 用法：requests.get(url,head ...
分类：
其他好文 时间：
2019-06-03 22:15:31
阅读次数：
115
urllib 是 Python 标准库中用于网络请求的库。 该库有四个模块，分别是： urllib.request urllib.error urllib.parse urllib.robotparser 1 发起请求 模拟浏览器发起一个 HTTP 请求，我们需要用到 urllib.request ...
分类：
编程语言 时间：
2019-06-01 19:20:17
阅读次数：
100
selenium主要是用来做自动化测试，支持多种浏览器，爬虫中主要用来解决JavaScript渲染问题。模拟浏览器进行网页加载，当requests,urllib无法正常获取网页内容的时候 一、声明浏览器对象注意点一，Python文件名或者包名不要命名为selenium，会导致无法导入from sel ...
分类：
其他好文 时间：
2019-05-26 16:10:47
阅读次数：
90
首先,我们来看一下requests模块的使用: requests模块:一个网络请求的模块 环境的安装: pip install request requests模块的作用:模拟浏览器发送请求 requests的编码流程: 指定url 发送请求 获取响应数据 进行持久化储存 下面做几个练习,熟悉一下r ...
分类：
其他好文 时间：
2019-05-24 11:08:43
阅读次数：
119
数据采集中，经常遇到动态加载的数据，我们经常使用selenium模拟浏览器操作，需要多次下拉刷新页面才能采集到所有的数据，就此总结了几种selenium操作下拉滚动条的几种方法 我这里演示的是Java版本的,使用chromedriver，当然你可以换成python或其他语言，浏览器用firefox或 ...
分类：
其他好文 时间：
2019-05-22 19:01:11
阅读次数：
136
package com.java.httpclient; import java.io.IOException; import org.apache.http.HttpEntity; import org.apache.http.ParseException; import org.apache.h... ...
分类：
Web程序 时间：
2019-05-20 17:03:11
阅读次数：
263
1、45648897454。 2、据 Ben Geskin 推文显示，三星 S10 果真具有早先已传闻的“打孔屏”设计。对此，营长并不觉得是什么稀奇的事，因为近几年手机市场的厂商们，几乎都在盘算着如何“以... ...
分类：
其他好文 时间：
2019-05-16 12:33:59
阅读次数：
183
简介 通过HttpClient获取网页数据源，通过Jsoup解析数据。先模拟登录，再获取信息。模拟浏览器正常操作，封装请求头信息获取SESSIONID。模拟登录成功后切勿断开会话，依赖登录请求得到的Cookie进行二次请求。请求信息时需打开谷歌浏览器或Fiddler抓包查看参数及请求头信息。 Mav ...
简介 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 作用： 可以让浏览器完成相关自 ...
分类：
其他好文 时间：
2019-05-11 16:26:37
阅读次数：
160
什么是requests模块: requests模块是python中原生的基于网路请求的模块,其主要作用是用来模拟浏览器发送请求,功能强大,用法简洁高效,在爬虫的领域占半壁江山 如何使用requests模块: 安装:pip install requests 使用流程: 1.指定url 2.发送请求 3 ...
分类：
编程语言 时间：
2019-04-30 22:08:04
阅读次数：
152
