没得事就爬一下我喜欢的海贼王上的图片
需要在d盘下建立一个imgcache文件夹
# -*- coding: utf-8 -*-
import urllib
import urllib2
import json
from bs4 import BeautifulSoup
import threadpool
import thread
class htmlpaser:
de...
分类：
编程语言 时间：
2014-06-29 07:15:05
阅读次数：
304
在创建一个job后，就要开始job的运行，运行的全流程如下：
1、在界面上启动job
2、index.jsp
查看上述页面对应的源代码
Start
3、action.jsp
String sAction = request.getParameter("action");
if(sAction != null)
{
// Need ...
分类：
其他好文 时间：
2014-06-20 09:24:23
阅读次数：
272
这是我学习爬虫比较深入的一步了，大部分的网页抓取用urllib2都可以搞定，但是涉及到JavaScript的时候，urlopen就完全傻逼了，所以不得不用模拟浏览器，方法也有很多，此处我采用的是selenium2+phantomjs，原因在于：selenium2支持所有主流的浏览器和phantomj...
分类：
Web程序 时间：
2014-06-11 11:17:54
阅读次数：
994
第一、爬虫及其行为方式
1.根集
2.连接的提取和相对链接的标准化
从页面提取出链接，然后把相对链接转化为绝对链接
3.避免环路的出现
4.循环和复制
5.记录爬过得链接
树和散列表有损的存在位图集群和索引
6.规范URL
7.避免循环和重复
规范URL广度优先的爬行节流：限制一段时间内机器人可以从一个WEB站点获取的页面的数量限制URL的大小URL/站点黑...
分类：
Web程序 时间：
2014-06-08 17:18:02
阅读次数：
264
http://webmagic.io/docs/zh/posts/ch1-overview/thinking.htmlhttps://github.com/psvehla/liferay-spring-mvc-portlethttp://www.huqiwen.com/2012/08/30/life...
分类：
Web程序 时间：
2014-06-06 23:40:58
阅读次数：
535
很多语言都能写个爬虫抓取数据，js自然也可以，使用cheerio可以支持css检索，较快捷的获取需要的数据。首先，先把node.js给安装了。可到官网下载。安装好node.js后，使用npm安装cheerio。
我这里使用的是win7，可以在 node.js command prompt 里输入1....
分类：
其他好文 时间：
2014-06-05 19:16:34
阅读次数：
245
下面是一个简单的爬虫程序。#!/usr/bin/env pythonfrom sys
import argvfrom os import makedirs, unlink, sepfrom os.path import dirname,
exists, isdir, splitextfrom str...
分类：
其他好文 时间：
2014-06-05 12:50:50
阅读次数：
341
一、网络爬虫的定义网络爬虫，即Web
Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页的。从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这...
分类：
Web程序 时间：
2014-06-02 09:36:19
阅读次数：
216
网络爬虫，又被称为网页蜘蛛，网络机器人。本文我们就来说说网络爬虫初级。
分类：
其他好文 时间：
2014-06-02 06:24:29
阅读次数：
171
