说明 这里只放代码，方案技术没有更变 代码说明 需要cookies绕过登录，使用selenium在Firefox下模拟。需要安装geck...？插件，另外，数据存储在sqlite，需要安装。 Spider.py UrlManager.py HtmlParser.py HtmlDownloader.p ...
分类：
编程语言 时间：
2019-07-21 01:50:16
阅读次数：
154
软件包包含了该书籍所需的所有软件。此文件大小为1.85G 这是一个非常ok，使下载速度到1.5MB左右这是一个百度网盘直链下载教程链接：http://www.360kuai.com/pc/9d1c911de5d52d039?cota=4&tj_url=so_rec&sign=360_57c3bbd1... ...
分类：
编程语言 时间：
2019-07-12 18:55:45
阅读次数：
419
一.urllib库 urllib是python自带的一个用于爬虫的库,其主要作用就是通过代码模拟浏览器发送请求,其常被用到的子模块在 python3中的为urllib.request 和 urllib.parse,在python2中的是 urllib 和 urllib2 二.由易到难首页面所有的数据 ...
分类：
编程语言 时间：
2019-07-09 19:14:09
阅读次数：
146
Python 简介 Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。 Python 的设计具有很强的可读性，相比其他语言经常使用英文关键字，其他语言的一些标点符号，它具有比其他语言更有特色语法结构。 Python 是一种解释型语言： 这意味着开发过程中没有了编译这个环节 ...
分类：
编程语言 时间：
2019-06-21 12:42:50
阅读次数：
102
目的 批量下载网页图片 导入库 urllib中的request中的urlretrieve方法，可以下载图片 lxml用于解析网页 requests用于获取网站信息 定义回调函数 回调函数中，count表示已下载的数据块，size数据块大小，total表示总大小。 在使用urllib中的request ...
分类：
编程语言 时间：
2019-06-07 22:55:24
阅读次数：
122
目的 爬取http://seputu.com/数据并存储csv文件 导入库 lxml用于解析解析网页HTML等源码，提取数据。一些参考：https://www.cnblogs.com/zhangxinqi/p/9210211.html requests请求网页 chardet用于判断网页中的字符编码 ...
分类：
编程语言 时间：
2019-06-07 19:35:03
阅读次数：
123
import urllib2 源地址 在python3.3里面，用urllib.request代替urllib2 import cookielib 源地址 Python3中，import cookielib改成 import http.cookiejar ...
分类：
编程语言 时间：
2019-06-02 17:51:14
阅读次数：
122
获取响应内容： 获取编码，状态（200成功，4xx客户端错误，5xx服务器相应错误），文本，等。 定制Request请求 传递URL参数 定制请求头 发送POST请求 POST请求发送表单信息，密码不显示在URL中，数据字典发送时自动编码为表单形式。 超时并抛出异常 ...
分类：
编程语言 时间：
2019-05-31 23:35:06
阅读次数：
162
一.爬虫数据解析的流程 1.指定url 2.基于requests模块发起请求 3.获取响应中的数据 4.数据解析 5.进行持久化存储 二.解析方法 (1)正则解析 (2)bs4解析 (3)xpath解析 1. 正则解析 常用正则表达式 正则使用练习: 应用: 爬取糗事百科指定页面的糗图，并将其保存到 ...
分类：
编程语言 时间：
2019-05-29 17:57:08
阅读次数：
128
1、爬虫基本概念 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 百度百科 简单的说，爬虫就是获取目标网页源代码，并提取和保存网页信息的自动化程序或者脚本。网络爬虫脚本或者程序一般包含如下几个步骤： A ...
分类：
编程语言 时间：
2019-05-13 17:48:29
阅读次数：
152
