用jsoup抓取百度网盘资源链接，并用java实现多线程抓取，提高效率...
分类：
编程语言 时间：
2014-10-28 10:26:17
阅读次数：
299
就爬取和解析内容而言，我们有太多选择。比如，很多人都觉得Jsoup就可以解决所有问题。无论是Http请求、DOM操作、CSS query selector筛选都非常方便。 关键是这个selector，仅通过一个表达式筛选出的只能是一个node。如过我想获得一个text或者一个node的属性值，我需要...
分类：
编程语言 时间：
2014-10-24 21:59:32
阅读次数：
241
推荐一本书：黑客攻防技术宝典.Web实战篇 ；
顺便留下一个疑问：是否能通过jsoup大量并发访问web或者小型域名服务器，使其瘫痪？其实用jsoup熟悉的朋友可以用它解析url来干一件很无耻的事（源码保密）。呵呵，接下来简单的介绍下JSOUP。
jsoup 是一款基于Java 的HTML解析器，可直接解析某个URL地址、HTML文本字符串、HTML文件。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
官网下载地址：h...
分类：
Web程序 时间：
2014-10-22 11:06:52
阅读次数：
277
博客园的第一个坑，想想都有点小激动 =3=首先是那个爬虫的地址：【原创】最近写的一个比较hack的小爬虫选择工具：以前用过Qt，那么选pyqt4也就是情理之中了。明确需求：0、首先，要读取漫画的全部章节进来，同时能选择相应的章节。1、其次，进入相应的章节后，显示该章节的图片，同时有“下一页”、“上一...
分类：
编程语言 时间：
2014-10-17 01:41:13
阅读次数：
370
目标：爬取爱漫画上面自己喜欢的一个漫画分析阶段：0、打开爱漫画主页，迎面就是一坨js代码。。直接晕了1、经过抓包和对html源码的分析，可以发现爱漫画通过另外一个域名发送图片，而当前域名中通过js动态生成图片的文件名。问题就在这里了，首先，图片的文件命名模式比较多，没办法通过js源码直接爬；其次，有...
分类：
其他好文 时间：
2014-10-15 20:42:11
阅读次数：
252
在leetCode写了105道题高调膜科，考虑搬迁到自己的GitHub上，做成一个解题题库，面试的时候也可以秀一个但是！但是！leetCode在线IDE的功能不要太舒服，我直接线上A了不少题，本地没有代码，除非有题调试半天A不来，本地才有存代码于是我就考虑，直接用Python把leetCode上的A...
分类：
编程语言 时间：
2014-10-15 17:52:31
阅读次数：
427
原文链接：http://rsj217.diandian.com/post/2013-04-17/40050093587本意是在注销账号前保留之前的一些数据。决定用python 爬取收藏。可是未登录无法爬取。想要登录有两种办法，伪造浏览器登录。第二就是注册新浪开发者账号，通过Oauth认证调用其API...
先上代码，比较长。 1 # -*- coding=utf-8 -*- 2 __author__ = 'lhyz' 3 4 import urllib 5 import re 6 import socket 7 import time 8 import os 9 10 #使用当前时间创建文件夹11 ....
分类：
编程语言 时间：
2014-10-12 02:35:37
阅读次数：
517
Introduction：
这个小demo用于爬取淘宝网的相关链接。
首先从“www.taobao.com"这个url开始，手机页面上的所有url，然后存入toCrawList 。当toCrawList不为空时，拿出一个url,把它存入数据集并且搜寻这个url上的所有链接充入toCrawList. 这是一个BFS过程。
Framework:
Code:
就网络爬虫来讲这个de...
分类：
编程语言 时间：
2014-10-09 18:49:37
阅读次数：
345
前面一直强调Python运用到网络爬虫方面非常有效,这篇文章也是结合学习的Python视频知识及我研究生数据挖掘方向的知识.从而简单介绍下Python是如何爬去网络数据的,文章知识非常简单,但是也分享给大家,就当简单入门吧!同时只分享知识,希望大家不要去做破坏网络的知识或侵犯别人的原创型文章.主要介绍了如何手动爬取新浪播客和CSDN博客的思想和方法.如果有错误或不足之处,请海涵!...
分类：
编程语言 时间：
2014-10-04 17:57:27
阅读次数：
266
