爬虫需求1.你是否在夜深人静的时候，想看一些会让你更睡不着的图片却苦于没有资源？2.你是否在节假日出行高峰的时候，想快速抢购火车票成功？3.你是否在网上购物的时候，想快速且精准的定位到口碑质量最好的商品？爬虫简介通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。爬虫的价值抓取互联网上的数据，为我所用，有了大量的数据，就如同有了一个数据银行一样，下一步做的就是如何将这些爬取的数据产品化
分类：
编程语言 时间：
2020-07-21 11:43:41
阅读次数：
82
闲言 requests模块是一个不完全模拟浏览器行为的模块，只能爬取到网页的HTML文档信息，无法解析和执行CSS、JavaScript代码，因此要我们做人为判断。 selenium模块本质是通过驱动浏览器完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 ...
分类：
其他好文 时间：
2020-07-20 15:49:27
阅读次数：
86
Python网络爬虫第三弹《爬取get请求的页面数据》 一.urllib库 urllib是Python自带的一个用于爬虫的库，其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib.parse，在Python2中是urllib ...
分类：
编程语言 时间：
2020-07-11 17:38:07
阅读次数：
76
http://www.testclass.net/selenium_python/mouse-event # class name里不能有空格，需要把空格替换成.悬停操作使用 from selenium.webdriver import ActionChains ActionChains(drive ...
分类：
其他好文 时间：
2020-07-06 15:57:25
阅读次数：
66
简介 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器， 完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器。 环境安装 下载安装sele ...
分类：
其他好文 时间：
2020-06-30 20:54:19
阅读次数：
65
爬虫基础 什么是爬虫？ 爬虫就是通过编写程序模拟浏览器上网，让其去互联网上抓取数据的过程。 抓取互联网上的数据，为我所用，有了大量的数据，就如同有了一个数据银行一样，下一步做的就是如何将这些爬取的数据产品化，商业化。 爬虫的合法性探讨 爬虫作为一种计算机技术就决定了它的中立性，因此爬虫本身在法律上并 ...
分类：
其他好文 时间：
2020-06-30 11:05:52
阅读次数：
63
1、聚焦爬虫 代理浏览器上网 网页的特点 网页都有自己唯一的url 网页内容都是HTML结构 使用的都是HTTP，HTTPS协议 爬取步骤： 给一个url 写程序，模拟浏览器方位url 解析内容 环境： Windows环境、Linux环境 python3.6 64位 编辑工具，vscode,subl ...
分类：
其他好文 时间：
2020-06-27 20:23:23
阅读次数：
57
通俗的讲httpClient就是 模拟浏览器向某个网址发送各种请求 功能： 实现了所有 HTTP 的方法（GET,POST,PUT,HEAD 等） 支持自动转向 支持 HTTPS 协议 支持代理服务器等 使用方法 使用HttpClient发送请求、接收响应很简单，一般需要如下几步即可。 1. 创建H ...
分类：
Web程序 时间：
2020-06-24 21:59:58
阅读次数：
83
curl直接访问被拒绝 [22:10:00 root@C7 ~]#curl -I www.163.com HTTP/1.1 403 Forbidden Date: Wed, 24 Jun 2020 02:02:54 GMT Content-Type: text/html Content-Length ...
分类：
Web程序 时间：
2020-06-24 10:27:57
阅读次数：
174
一、可以使用driver.get()方法打开多个窗口但是会覆盖，所以可以用前进后退进行操作 from selenium import webdriver import time driver_path = r"D:\install\chromedriver\chromedriver.exe" dri ...
分类：
其他好文 时间：
2020-06-20 23:58:20
阅读次数：
89
