撸主听说有个网站叫他趣，里面有个社区，其中有一项叫他趣girl，撸主点进去看了下，还真不错啊，图文并茂，宅男们自己去看看就知道啦~ 接下来当然就是爬取这些妹子的图片啦，不仅仅是图片，撸主发现里面的对话也很有意思，于是把对话也一并抓取下来好了。 那么问题来了，用什么工具呢？在之前的练习中已经用过url ...
分类：
其他好文 时间：
2016-05-14 12:37:56
阅读次数：
382
上一篇咱们讲到了七夜音乐台的需求和所需要的技术。咱们今天就讲一下爬虫，为什么要讲爬虫，因为音乐台的数据源需要通过爬虫来获取，不可能手动来下载。下图是一个网络爬虫的基本框架: 网络爬虫的基本工作流程如下： 1.首先选取一部分精心挑选的种子URL； 2.将这些URL放入待抓取URL队列； 3.从待抓取U ...
分类：
其他好文 时间：
2016-05-13 13:38:58
阅读次数：
335
作为酷爱编程的老程序员，实在按耐不下这个冲动，Python真的是太火了，不断撩拨我的心。 我是对Python存有戒备之心的，想当年我基于Drupal做的系统，使用php语言，当语言升级了，推翻了老版本很多东西，不得不花费很多时间和精力去移植和升级，至今还有一些隐藏在某处的代码埋着雷。我估计Pytho ...
分类：
编程语言 时间：
2016-05-13 08:41:45
阅读次数：
178
作为酷爱编程的老程序员，实在按耐不下这个冲动，Python真的是太火了，不断撩拨我的心。我是对Python存有戒备之心的，想当年我基于Drupal做的系统，使用php语言，当语言升级了，推翻了老版本很多东西，不得不花费很多时间和精力去移植和升级，至今还有一些隐藏在某处的代码埋着..
分类：
编程语言 时间：
2016-05-13 04:53:00
阅读次数：
176
上网了解到网络爬虫，感觉挺使用的，自己写了一个例子。
jsoup的jar包下载地址：http://jsoup.org/download
使用jsoup-1.8.3.jar，这是一个解析html源码的工具，能快速找到某一个节点，非常方便
代码功能是：
2016年msi中rng和skt最后一场比赛刚打完，网页中没有比赛视频的链接，查看网页源码分析出url地址的规律，就尝试找一下。
impor...
分类：
Web程序 时间：
2016-05-13 00:53:30
阅读次数：
224
本文章的例子仅用于学习之用，如涉及版权隐私信息，请联系本人删除，谢谢。
最近一直在练习使用python爬取不同网站的信息，最终目的是实现一个分布式的网络爬虫框架，可以灵活适用不同的爬取需求。
项目github地址:
https://github.com/happyAnger6/anger6Spider
在学习的过程中遇到不少问题，在这里做一下总结，并分享出来，希望有兴趣...
分类：
编程语言 时间：
2016-05-13 00:36:09
阅读次数：
206
对Python有一些简单了解的朋友都知识Python编程语言有个很强大的功能，那就是Python网络爬虫（http://www.maiziedu.com/course/python/645-9570/），一提到Python，就会想到相关的Python爬虫和scrapy等等，今天就来简单认识学习Python爬虫的基础知识，有了一定的相关爬虫知识，以后学习scrapy、urllib等等知识时，会相对轻...
分类：
编程语言 时间：
2016-05-12 21:11:47
阅读次数：
162
网络爬虫，是在网上进行数据抓取的程序，使用它能够抓取特定网页的HTML数据。虽然我们利用一些库开发一个爬虫程序，但是使用框架可以大大提高效率，缩短开发时间。Scrapy是一个使用Python编写的，轻量级的，简单轻巧，并且使用起来非常的方便。使用Scrapy可以很方便的完成网上数据的采集工作，它为我们完成了大量的工作，而不需要自己费大力气去开发。
首先先要回答一个问题。
问：把网站装进爬虫里，...
分类：
编程语言 时间：
2016-05-12 13:28:57
阅读次数：
204
北京、天津求实习，本人大三狗 不知不觉，16年就快过去半年了，上半年强迫自己学了很多东西，都是逼自己的，以至于自己有些东西学的很混乱，还有就是一直犹豫到底该不该学一下JavaScript（不想从事前端的工作），下面慢慢来说说上半年的小结吧。 一、首先是python网络爬虫 这个也算是自己动手做的第一 ...
分类：
其他好文 时间：
2016-05-12 01:20:07
阅读次数：
350
一直想做个公众号的网络爬虫，网上的好多接口都依赖于"瘦狗"，不过微信接口一直在变，现在"瘦狗"也只允许查看10条历史记录，所以今天趁着下雨，研究了一下apk内部的东西，但是怕微信又改，我透漏的不能太多，有兴趣可以私下交流。 从微信上复制出来的url：https://mp.weixin.qq.com/ ...
分类：
微信 时间：
2016-05-09 23:44:41
阅读次数：
1782
