为什么每一个爬虫工程师都应该学习Kafka摄影：产品经理与产品经理环游世界的瞬间这篇文章不会涉及到Kafka的具体操作，而是告诉你Kafka是什么，以及它能在爬虫开发中扮演什么重要角色。一个简单的需求假设我们需要写一个微博爬虫，老板给的需求如下：开发爬虫对你来说非常简单，于是三下五除二你就把爬虫开发好了：接下来开始做报警功能，逻辑也非常简单：再来看看统计关键词的功能，这个功能背后有一个网页，会实时
分类：
其他好文 时间：
2020-12-08 12:02:43
阅读次数：
2
前言：本文主要内容是介绍如何用最简单的办法去采集新浪微博的数据，主要是采集指定微博用户发布的微博以及微博收到的回复等内容，可以通过配置项来调整爬取的微博用户列表以及其他属性。 既然说是最简单的办法，那么我们就得先分析微博爬虫可能选择的几个目标网址，首先肯定是最常见的web网站了 还有就是m站，也就是 ...
分类：
其他好文 时间：
2020-06-22 23:27:49
阅读次数：
219
Python这门语言因其简单强大已经火了很久了，但我接触的比较晚，前几个月因为一篇博客开始初步了解这门语言，并且之后模仿某位北邮的前辈的微博写了一个新浪微博的爬虫 这里给出链接：python编写的新浪微博爬虫 当时为了能够顺便把从微博上抓下来的数据存储起来，顺便装了MySQL，之所以用MySQL，主 ...
分类：
Web程序 时间：
2019-11-27 23:09:47
阅读次数：
97
没写过爬虫，赶鸭子上架，公司里有个老代码，我就拿来参考，边看边写3周后，把整个代码大换血，实现了单日单程序百万的爬取量。 使用springboot + JDK1.8 + mysql + redis。 主要有 关键词爬取、redis队列、多线程爬取程序 三部分。 一、关键词的爬取： 我用的是在微博搜索 ...
分类：
编程语言 时间：
2019-07-19 16:55:34
阅读次数：
170
本篇文章将是『如何构建一个分布式爬虫』系列文章的最后一篇，拟从实战角度来介绍如何构建一个稳健的分布式微博爬虫。这里我没敢谈高效，抓过微博数据的同学应该都知道微博的反爬虫能力，也知道微博数据抓取的瓶颈在哪里。我在知乎上看过一些同学的说法，把微博的数据抓取难度简单化了，我只能说，那是你太naive，没深 ...
分类：
其他好文 时间：
2019-01-25 16:02:15
阅读次数：
169
本篇文章将从实战角度来介绍如何构建一个稳健的分布式微博爬虫。这里我没敢谈高效，抓过微博数据的同学应该都知道微博的反爬虫能力，也知道微博数据抓取的瓶颈在哪里。我在知乎上看过一些同学的说法，把微博的数据抓取难度简单化了，我只能说，那是你太naive，没深入了解和长期抓取而已。本文将会以PC端微博进行讲解，因为移动端微博数据不如PC短全面，而且抓取和解析难度都会小一些。文章比较长，由于篇幅所限，文章并没
分类：
其他好文 时间：
2018-10-31 15:43:36
阅读次数：
219
1.微博登录 2.爬取数据 3.mysql存储 4.pyechart本地展示 5.用vue搭建网站web展示 1.微博登录 新浪微博的登录不是简单的post就能解决的，他的登录有加密，所以我们要使用一定的解密算法才能正常登录微博，得到我们想要的数据。 先不要慌，第一步当然是import我们需要的库 ...
分类：
编程语言 时间：
2018-10-27 14:48:57
阅读次数：
169
登录 目前新浪微博登录修改登录加密方法，使用rsa进行加密。 以下为个人实现登录的过程，不过得到cookie出现了问题，使用urllib2可以有效抓取 但是httplib2对cookie操作很恶心需要自己处理 终于搞定了用httplib2抓取新浪微博，不知道其他微博是否适用，，， 下面就是登录的介绍 ...
分类：
数据库 时间：
2018-10-06 22:34:23
阅读次数：
314
1.mongodb数据展示: 2.微博爬虫计数 ...
分类：
编程语言 时间：
2018-10-05 13:51:14
阅读次数：
126
新浪微博爬取的话需要设计到登录，这里我没有模拟登录，而是使用cookie进行爬龋获取cookie：代码：#-*-coding:utf8-*-
frombs4importBeautifulSoup
importrequests
importtime
importos
importsys
importrandom
reload(sys)
sys.setdefaultencoding(‘utf-8‘)
user_id=用户id
c..
分类：
编程语言 时间：
2017-08-08 16:36:56
阅读次数：
321
