在爬网页的过程中，最喜欢遇到的就是json数据接口，省了不少麻烦，但是json数据也有多种格式。 类型一：标准的json result = json.loads(html.text),将str转成python的dict类型 类型二：不是标准的json数据格式 而Callback括号里面的数据则是标准 ...
分类：
Web程序 时间：
2018-03-12 15:20:31
阅读次数：
275
使用Web Scraper 插件，不需要编程，也能爬网，使用Web Scraper插件，能够创建一个网站地图，并能遍历网站，抓取我们感兴趣的数据，比如，我们登陆淘宝，京东等商务网站，我们可以通过 Web Scraper，抓取某一类商品的规格说明，价格，厂家等信息，我们通过Web Scraper可以抓 ...
分类：
Web程序 时间：
2018-02-19 11:57:25
阅读次数：
260
先说python2 再说python3 编码应用比较多的场景应该是爬虫了，互联网上很多网站用的编码格式很杂，虽然整体趋向都变成utf-8，但现在还是很杂，所以爬网页时就需要你进行各种编码的转换，不过生活正在变美好，期待一个不需要转码的世界。 最后，编码is a piece of fucking sh ...
分类：
其他好文 时间：
2018-01-21 16:31:52
阅读次数：
218
import geventfrom urllib.request import urlopen# 爬虫def f(url): print('GET: %s' % url) resp = urlopen(url) data = resp.read() with open('baidu.html', ' ...
分类：
编程语言 时间：
2017-12-14 21:12:01
阅读次数：
124
最近几天在研究爬虫爬取音频网站如何高效的访问并下载，说实话，我一开始还不知道有协程这个东东~~~并且之前一直觉得爬网站用啥方法都一样，能爬就行，自从发现了协程，爱不释手~~~~~ 好了废话少说~进入正题： 首先，我们先说一下什么是多线程，在网上的一些教程中都给出这个例子（涉及类和队列） 这个栗子让我 ...
分类：
编程语言 时间：
2017-12-02 13:00:39
阅读次数：
161
初次编辑2017年10月28日,星期六 摘要一. 上节课复习二. 协程函数初始化装饰器三. send实现爬网页四. 面向过程的程序设计五. 列表生成式六. 三元表达式七.生成器表达式八. 声明式编程作业今日总结 摘要 引用:百度 列表生成式 生成器表达式 面向过程编程 递归 一. 上节课复习 可迭代... ...
分类：
编程语言 时间：
2017-11-13 13:53:09
阅读次数：
407
蜘蛛池是一种通过利用大型平台权重来获得百度收录以及排名的一种程序。 这里，思享其实想不通，这个解释更像说的是外推工具，搜索转码之类的东西，可能再概念上有所出入，正如站长、搜索搜索引擎对“收录”这一概念一样。 还有另外一种说法是： 蜘蛛池通过程序判断，将搜索引擎蜘蛛困住不停地抓爬网页，只提供提交的链接 ...
分类：
其他好文 时间：
2017-10-23 14:16:55
阅读次数：
113
配置sharepoint 爬网内容源，如我们有4台前端服务器，集群域名为eds.jd.com，2台用于爬网前端服务器，集群域名为crawl.eds.jd.com 配置内容源的时候，将地址配为： 结果一直搜索不出任何数据，将地址改为crawl.eds.jd.com也不行。 最后没办法，将地址改为机器名 ...
分类：
其他好文 时间：
2017-09-27 18:56:18
阅读次数：
140
首先要明白爬网页实际上就是：找到包含我们需要的信息的网址（URL）列表通过 HTTP 协议把页面下载回来从页面的 HTML 中解析出需要的信息找到更多这个的 URL，回到 2 继续其次还要明白：一个好的列表应该：包含足够多的电影的 URL通过翻页，可以遍历到所有的电影一个按照更新时间排序的列表，可以 ...
分类：
编程语言 时间：
2017-09-07 19:37:59
阅读次数：
185
首先要明白爬网页实际上就是：找到包含我们需要的信息的网址（URL）列表通过 HTTP 协议把页面下载回来从页面的 HTML 中解析出需要的信息找到更多这个的 URL，回到 2 继续其次还要明白：一个好的列表应该：包含足够多的电影的 URL通过翻页，可以遍历到所有的电影一个按照更新时间排序的列表，可以 ...
分类：
编程语言 时间：
2017-09-07 19:22:08
阅读次数：
137
