1.大体框架列出+爬取网页： #数据可视化 from pyecharts import Bar #用来url连接登陆等功能 import requests #解析数据 from bs4 import BeautifulSoup #用来存取爬取到的数据 data = [] def parse_data ...
分类：
其他好文 时间：
2020-01-28 15:40:07
阅读次数：
61
1.XPath： XPath（XML Path Language）是一门在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行遍历。 工具：扩展商店里搜索：XPath Helper（我是QQ浏览器） XPath的语法: 使用举例： 2. lxml库： lxml 是 一 ...
分类：
其他好文 时间：
2020-01-27 18:57:44
阅读次数：
104
requests库 虽然Python的标准库中 urllib模块已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好，而 Requests宣传是 “HTTP for Humans”，说明使用更简洁方便。 安装和文档地址： 利用pip可以非常方便的安装： pip install ...
分类：
其他好文 时间：
2020-01-26 20:46:41
阅读次数：
88
urllib库是Python中一个最基本的网络请求库。可以模拟浏览器的行为，向指定的服务器发送一个请求，并可以保存服务器返回的数据。 1.urlopen函数： 在Python3的urllib库中，所有和网络请求相关的方法，都被集到urllib.request模块下面了，以先来看下urlopen函数基 ...
分类：
Web程序 时间：
2020-01-26 17:16:32
阅读次数：
173
Http请求： 1.在浏览器中发送一个http请求的过程： 2.url详解： URL是Uniform Resource Locator的简写，统一资源定位符。 一个URL由以下几部分组成 scheme://host:port/path/?query-string=xxx#anchor 解析： 注意： ...
分类：
其他好文 时间：
2020-01-26 13:05:04
阅读次数：
79
爬虫学习 Python网络爬虫第三弹《爬取get请求的页面数据》 一.urllib库 urllib是Python自带的一个用于爬虫的库，其主要作用就是可以通过代码模拟浏览器发送请求。其常被用到的子模块在Python3中的为urllib.request和urllib.parse，在Python2中是u ...
分类：
编程语言 时间：
2020-01-11 10:12:56
阅读次数：
105
爬虫学习 Pyppeteer pyppeteer模块的基本使用 引言 Selenium 在被使用的时候有个麻烦事，就是环境的相关配置，得安装好相关浏览器，比如 Chrome、Firefox 等等，然后还要到官方网站去下载对应的驱动，最重要的还需要安装对应的 Python Selenium 库，确实是 ...
分类：
其他好文 时间：
2020-01-10 22:39:04
阅读次数：
125
爬虫学习18.增量式爬虫 增量式爬虫 引言： 当我们在浏览相关网页的时候会发现，某些网站定时会在原有网页数据的基础上更新一批数据，例如某电影网站会实时更新一批最近热门的电影。小说网站会根据作者创作的进度实时更新最新的章节数据等等。那么，类似的情景，当我们在爬虫的过程中遇到时，我们是不是需要定时更新程 ...
分类：
其他好文 时间：
2020-01-10 22:25:02
阅读次数：
76
爬虫学习 15.scrapy中selenium的应用 引入 在通过scrapy框架进行某些网站数据爬取的时候，往往会碰到页面动态数据加载的情况发生，如果直接使用scrapy对其url发请求，是绝对获取不到那部分动态加载出来的数据值。但是通过观察我们会发现，通过浏览器进行url请求发送则会加载出对应的 ...
分类：
其他好文 时间：
2020-01-10 22:18:58
阅读次数：
81
爬虫学习 17.基于scrapy redis两种形式的分布式爬虫 redis分布式部署 1.scrapy框架是否可以自己实现分布式？ 不可以。原因有二。 其一：因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一 ...
分类：
其他好文 时间：
2020-01-10 22:14:46
阅读次数：
103
