1.基于Requests和BeautifulSoup的单线程爬虫1.1 BeautifulSoup用法总结 1. find,获取匹配的第一个标签 2.find_all,获取匹配的所有标签，包含标签里的标签，若不想要标签里的标签，可将recursive（递归寻找）=False 3.get 获得属性的值 ...
分类：
编程语言 时间：
2018-05-20 11:38:30
阅读次数：
231
醒来的时候登QQ发现有人找我要一份贴吧爬虫的源代码，想起之前练手的时候写过一个抓取百度贴吧发帖记录中的邮箱与手机号的爬虫，于是开源分享给大家学习与参考。 需求分析： 本爬虫主要是对百度贴吧中各种帖子的内容进行抓取，并且分析帖子内容将其中的手机号和邮箱地址抓取出来。主要流程在代码注释中有详细解释。 测 ...
分类：
移动开发 时间：
2018-05-19 22:31:25
阅读次数：
193
Thread是python中的一个多线程类，我们可以通过给它传递target函数或者创建一个自己的类来继承Thread来使用他。queue是python中的一个消息队列，它实现了python中线程数据的共享，并解决了传统多线程需要对共享数据上锁，解锁的问题，极大的方便了我们的多线程变成。通过Thre ...
分类：
编程语言 时间：
2017-12-30 15:58:29
阅读次数：
149
爬虫的基本步骤分为：获取，解析，存储。假设这里获取和存储为io密集型（访问网络和数据存储），解析为cpu密集型。那么在设计多线程爬虫时主要有两种方案：第一种方案是一个线程完成三个步骤，然后运行多个线程；第二种方案是每个步骤运行一个多线程，比如N个线程进行获取，1个线程进行解析（多个线程之间切换会降低 ...
分类：
编程语言 时间：
2017-07-13 16:01:36
阅读次数：
225
1 # requests+xpath+map爬取百度贴吧 2 # 目标内容:跟帖用户名,跟帖内容,跟帖时间 3 # 分解: 4 # requests获取网页 5 # xpath提取内容 6 # map实现多线程爬虫 7 import requests 8 from requests.exceptio... ...
分类：
其他好文 时间：
2017-06-26 19:07:10
阅读次数：
271
1 # 多线程爬虫 2 # map函数的使用 3 # from multiprocessing.dummy import Pool 4 # pool=Pool(4) 5 # results = pool.map(爬取函数,网址列表) 6 # 实例演示: 7 from multiprocessing.... ...
分类：
编程语言 时间：
2017-06-25 23:08:52
阅读次数：
240
# -*- coding:UTF-8 -*- import requests,time from collections import OrderedDict import threading from bs4 import BeautifulSoup as bp t3 = time.time() ... ...
分类：
编程语言 时间：
2017-06-02 17:23:48
阅读次数：
202
爬虫专业的都喜欢scrapy框架，但scrapy上手需要时间，对初学者不太适合。 本文介绍使用requets爬虫，为了利于演示学习，使用了xpath解析html和完全使用正则来提取两种方法，仅供参考。 发下运行结果： ...
分类：
编程语言 时间：
2017-05-25 14:48:21
阅读次数：
734
大概半年前我开始学习python，也就是半年前，我半抄半改的同样的爬虫写了出来，由于是单线程的程序，当中出了一点的小错就会崩溃，但是那个爬虫中的header之类的东西现在依旧还是能够使用的，于是我就把之前那份的保留了下来。由于有一半是抄的，自己得到的并不多，这次重写，我相当于又重新学习了一遍。，当中 ...
分类：
编程语言 时间：
2016-12-14 21:56:55
阅读次数：
454
