import reimport urllib2headers = {'User-agent' : 'Mozilla/5.0 (Windows NT 6.2; WOW64; rv:22.0) Gecko/20100101 Firefox/22.0'}with open('C:\\Users\\yaxi ...
分类:
编程语言 时间:
2016-12-03 17:58:02
阅读次数:
275
很早前就想用 Golang 写点“实用的”东西,兴趣不是目的,学总归要致用。而《Go语言圣经》中有一些例子比较有实际意义,譬如爬虫。 刚好我对电影还比较有兴趣,且习惯性地在下或看某部电影前都会去豆瓣看看评分,所以我想,何不撸个小爬虫,来遍历豆瓣的所有电影页面以采集电影信息并按评分由高到低来排个序看看 ...
分类:
其他好文 时间:
2016-11-25 19:42:48
阅读次数:
297
第一次写的小爬虫,python确实功能很强大,二十来行的代码抓取内容并存储为一个txt文本 直接上代码 因为这只第一次做的小爬虫,功能很简单也很单一,就是直接抓取新闻页面的部分新闻 然后抓取新闻的时间和超链接 然后按照新闻的顺序整合起来,并且放进文本文件中去存储起来 ...
分类:
Web程序 时间:
2016-11-12 16:44:06
阅读次数:
453
用java做了一个小爬虫的dome,感觉挺好玩的样子。得好好学学爬虫这门技术 1 java 原生的代码实现爬虫 这是将淘宝首页 a 标签的文字爬下来了 2 java 相关的框架封装的方法,首先得先引入架包jsoup-1.7.3.jar 网页通过get 方法来提交数据的爬取方式 爬出来是淘宝想应的链接 ...
分类:
其他好文 时间:
2016-10-23 02:16:02
阅读次数:
305
慕课网的nodejs教程:http://www.imooc.com/learn/348 这人讲的很赞,特别是在事件驱动这点上,耳目一新。 视频略老,所以demo有些过时了,摸索着写了一个自己的小程序。 比较痛苦的是最近半年几乎没写过jQuery,不少用法实在想不起来,好在翻着API也不是什么问题。 ... ...
分类:
其他好文 时间:
2016-10-22 23:24:50
阅读次数:
178
配合着sqlmap api一起用,批量检测sql注入应该会很棒~ ...
分类:
编程语言 时间:
2016-09-29 01:52:49
阅读次数:
143
最近在交换友情链接的时候发现一个非常有趣儿的站长朋友,他交换的标准只看对方网站的词库,只要对方网站的词库相当即可交换,词库的查询以爱站‘站长之家数据为准。这次交换友链的经历让我长了见识,也颠覆了我之前对换友链的理解,因此“迷路的小爬虫”就趁热打铁把交换友链..
分类:
其他好文 时间:
2016-09-27 20:43:59
阅读次数:
135
接触Python3一个月了,在此分享一下知识点,也算是温故而知新了。 接触python之前是做前端的。一直希望接触面能深一点。因工作需求开始学python,几乎做的都是爬虫。。第一个demo就是爬取X博数据,X博的API我在这就不吐槽了 。用过的估计都晓得。 好了 。下面进入正题,,一个小demo的 ...
分类:
编程语言 时间:
2016-09-24 20:31:50
阅读次数:
199