Python3.x爬虫， 发现报错“UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1：invalid start byte”，一直在找文件的错误，最后经过网友的提示，错误原因竟然是我的报头中有一条： “'Ac ...
分类：
编程语言 时间：
2018-04-22 15:12:12
阅读次数：
580
(一) 分析网页 下载下面这个链接的销售数据 https://item.jd.com/6733026.html#comment 1、 翻页的时候，谷歌F12的Network页签可以看到下面的请求。 从Preview页签可以看出，这个请求是获取评论信息的 2、 对比第一页、第二页、第三页…请求URL的 ...
分类：
编程语言 时间：
2018-04-19 19:36:08
阅读次数：
279
以爬取《Python 网络爬虫：从入门到实践》一书作者的个人博客评论为例。网址：http://www.santostang.com/2017/03/02/hello-world/ 1）“抓包”：找到真实的数据地址 右键点击“检查”，点击“network”，选择“js”。刷新一下页面，选中页面刷新时返 ...
分类：
编程语言 时间：
2018-04-14 16:26:43
阅读次数：
523
关于Robots协议 Robots协议也称为爬虫协议，是网络爬虫排除标准(Robots Exclusion Protocol)，用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取。因为我们如果无限制的使用爬虫爬取信息的话，且不说技术上能否突破某些网站上的发爬虫措施，如果毫无限制的进行爬取，再加上 ...
分类：
编程语言 时间：
2018-04-07 17:35:10
阅读次数：
317
AJAX学习 AJAX=Asynchronous JavaScript and XML（异步的 JavaScript 和 XML）。通俗来说，AJAX是一种无需加载整个网页的情况下，通过在后台与服务器进行少量数据交换，更新部分网页的技术，用于创建快速动态网页的技术。 向服务器发送请求与服务器的响应 ...
分类：
编程语言 时间：
2018-04-07 01:12:32
阅读次数：
196
4.1.1 urllib2 和urllib是两个不一样的模块 urllib2最简单的就是使用urllie2.urlopen函数使用如下 urllib2.urlopen(url[,data[,timeout[,cafile[,capath[,cadefault[,context]]]]]]) 按照文档 ...
分类：
编程语言 时间：
2018-03-30 23:07:38
阅读次数：
282
一、python中的高阶函数算法 1、sorted()函数的排序 sorted()函数是一个高阶函数，还可以接受一个key函数来实现自定义的函数排序，key指定的函数作用于每个序列元素上，并根据key函数返回的结果进行排序。在默认的情况下对字符的排序是按照ASCII的大小比较的由于'Z'<'a'，所 ...
分类：
编程语言 时间：
2018-03-15 20:17:24
阅读次数：
192
网络爬虫，即Web Spider，是一个很形象的名字。 把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。 从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址， 然后通过这些链接地址寻找下一个网页，这样一直循环下 ...
分类：
编程语言 时间：
2018-03-10 17:50:26
阅读次数：
144
scrapy全局命令 要想了解在scrapy中由哪些全局命令，可以在不进入scrapy爬虫项目目录的情况下运行scrapy -h （1） fetch命令 fetch命令主要用来显示爬虫爬取的过程，如果在scrapy项目目录之外使用该命令，则会调用scrapy默认的爬虫来进行网页的爬取，如果在scra ...
分类：
编程语言 时间：
2018-03-10 16:37:15
阅读次数：
558
原文标题：《Python网络爬虫—Scrapy的选择器Xpath》 对原文有所修改和演绎 优势 XPath相较于CSS选择器，可以更方便的选取 没有id class name属性的标签 属性或文本特征不显著的标签 嵌套层次极其复杂的标签 XPath路径 定位方式 基本的节点定位 使用通配符 定位 使 ...
分类：
编程语言 时间：
2018-03-09 10:41:17
阅读次数：
390
