上编刚刚写的py,，而进度条不是很满意，而且是单线程，所以修改为多线程，如果网络快，5分钟全部下载完全，该网站并发不好，而且经常访问不了，出现失败很正常。只是学习py爬虫吧了。#!/usr/bin/envpython
#-*-coding:utf-8-*-
importurllib
fromosimportpath,makedirs
importr..
分类：
编程语言 时间：
2016-12-09 22:20:31
阅读次数：
236
本文讲解通过python实现一个多线程爬虫，来抓取天影天堂上所有的资源地址 ...
分类：
编程语言 时间：
2016-09-17 16:31:39
阅读次数：
266
最近，一直在做网络爬虫相关的东西。 看了一下开源C++写的larbin爬虫，仔细阅读了里面的设计思想和一些关键技术的实现。 1、larbin的URL去重用的很高效的bloom filter算法； 2、DNS处理，使用的adns异步的开源组件； 3、对于url队列的处理，则是用部分缓存到内存，部分写入 ...
分类：
编程语言 时间：
2016-07-22 21:10:05
阅读次数：
236
主函数：#coding: utf-8
'''
Created on 2016年4月21日@author: Administrator
'''
import uuid
'''
多线程爬虫
天涯杂谈
爬取4月一个月的数据'''
import requests,re
import json
import time
import MySQLdb
from sqlUtil2 import saveTopic,...
分类：
编程语言 时间：
2016-07-13 10:32:36
阅读次数：
322
先上做的结果吧：
[java]
view plain
copy
print?
开始爬虫......................................... 当前有1个线程在等待 当前有2个线程在等待 当前有3个线程在等待 当前有4个线程在等待 当前有5个线程在等待 .....................
开始爬...
分类：
编程语言 时间：
2016-06-16 10:31:36
阅读次数：
526
程序功能大概就是爬取每个网页中的图片，并根据标题，分文件保存至指定目录，使用threading实现多线程。 主要流程为每访问一个网页，将此网页中的图片链接依次放入队列，根据图片数量依次开启下载线程，传入队列和编号，然后启动线程开始下载，主线程查询当前正在活动的线程数量，当数量为1的时候，即只剩主线程 ...
分类：
编程语言 时间：
2016-06-04 23:41:22
阅读次数：
316
（1）普通的内容爬取
（2）保存爬取的图片/视频和文件和网页
（3）普通模拟登录
（4）处理验证码登录
（5）爬取js网站
（6）全网爬虫
（7）某个网站的站内所有目录爬虫
（8）多线程
（9）爬虫框架Scrapy...
分类：
编程语言 时间：
2016-05-18 19:50:24
阅读次数：
200
单线程爬虫： 输出：00:25:33开始，00:26:02结束 耗时29秒 多线程：00：32:37开始00:32:39结束 耗时2秒 输出： ...
分类：
编程语言 时间：
2016-04-30 01:01:15
阅读次数：
645
