博客园的第一个坑，想想都有点小激动 =3=首先是那个爬虫的地址：【原创】最近写的一个比较hack的小爬虫选择工具：以前用过Qt，那么选pyqt4也就是情理之中了。明确需求：0、首先，要读取漫画的全部章节进来，同时能选择相应的章节。1、其次，进入相应的章节后，显示该章节的图片，同时有“下一页”、“上一...
分类：
编程语言 时间：
2014-10-17 01:41:13
阅读次数：
370
目标：爬取爱漫画上面自己喜欢的一个漫画分析阶段：0、打开爱漫画主页，迎面就是一坨js代码。。直接晕了1、经过抓包和对html源码的分析，可以发现爱漫画通过另外一个域名发送图片，而当前域名中通过js动态生成图片的文件名。问题就在这里了，首先，图片的文件命名模式比较多，没办法通过js源码直接爬；其次，有...
分类：
其他好文 时间：
2014-10-15 20:42:11
阅读次数：
252
说起爬虫你一定想起：Scrapy，没用过这个东西，不过从Google，看起来很专业的，由于工作需要，偶尔也会从网上抓取一些数据，之前用的是beautifulsoup，我这个人其实也有点强迫症，一定要知道范围，优劣，那么问题来了？两个东西的范围是什么？以及那个更好？直接Google你可以得到答案原来是...
分类：
编程语言 时间：
2014-10-15 13:11:10
阅读次数：
164
package com.hpu.bai;import java.io.BufferedReader;import java.io.BufferedWriter;import java.io.File;import java.io.FileOutputStream;import java.io.Fil...
分类：
其他好文 时间：
2014-10-15 03:19:59
阅读次数：
201
#!/usr/bin/env python#coding=utf-8import threadingimport urllibimport reimport timecur=0last=0totalcount=0depth=0t_mutex=threading.Condition() class M...
分类：
编程语言 时间：
2014-10-15 00:21:09
阅读次数：
297
最近闲着没事想看小说，找到一个全是南派三叔的小说的网站，决定都下载下来看看，于是动手，在很多QQ群里高手的帮助下（本人正则表达式很烂，程序复杂的正则都是一些高手指导的），花了三四天写了一个脚本
需要 BeautifulSoup 和 requests 两个库
（我已经把注释写得尽量详细）
这个程序的执行速度很慢，求高手告诉我优化的方法！！
#-*-coding:utf8-*-
from...
分类：
编程语言 时间：
2014-10-14 15:47:19
阅读次数：
227
网站建设好了，当然是希望网页被搜索引擎收录的越多越好，但有时候我们也会碰到网站不需要被搜索引擎收录的情况。 比如，你要启用一个新的域名做镜像网站，主要用于PPC 的推广，这个时候就要想办法屏蔽搜索引擎蜘蛛抓取和索引我们镜像网站的所有网页。因为如果镜像网站也被搜索引擎收录的话，很有可能会影响官网...
分类：
Web程序 时间：
2014-10-14 14:09:48
阅读次数：
207
最近在维护一个wordpress商城项目，商城是多站的，会为独立的站创建出几张表。项目在测试服务器上，貌似是被爬虫恶意注册，产生了几千个用户，就产生了几万张表，导致数据库导入导出都像蜗牛一样，慢得要死，所以就只能上服务器执行SQL删除了，先暂时关闭了注册的功能，由于注..
分类：
数据库 时间：
2014-10-14 05:21:18
阅读次数：
434
采用了多线程和锁机制，实现了广度优先算法的网页爬虫。对于一个网络爬虫，如果要按广度遍历的方式下载，它就是这样干活的： 1.从给定的入口网址把第一个网页下载下来 2.从第一个网页中提取出所有新的网页地址，放入下载列表中 3.按下载列表中的地址，下载所有新的网页 4.从所有新的网页中找出没有下载过的网页...
分类：
编程语言 时间：
2014-10-13 22:44:27
阅读次数：
248
本人比较喜欢看美剧，尤其喜欢人人影视上HR-HDTV 的 1024 分辨率的高清双字美剧，这里写了一个脚本来批量获得指定美剧的所有 HR-HDTV 的 ed2k下载链接，并按照先后顺序写入到文本文件。这个 python 爬虫比较短，就用到了 urllib.request 和 re 这两个模块，前者负责抓取网页，后者负责解析文本。想进一步加强爬虫的功能，可以用爬虫框架 Scrapy。还有就是，网页内容多是 javascript 生成，就需要一个 js 引擎了，PyV8 可以拿来试试，再有就是基于 js 的爬虫...
分类：
编程语言 时间：
2014-10-11 22:03:36
阅读次数：
344
