Kafka里面的信息是如何被消费的?摄影:产品经理跟着产品经理去苏州吃面作为一个爬虫工程师,Kafka对你而言就是一个消息队列,你只需要掌握如何向里面写入数据,以及如何读取数据就可以了。请谨记:使用Kafka很容易,但对Kafka集群进行搭建、维护与调优很麻烦。Kafka集群需要有专人来维护,不要以为你能轻易胜任这个工作。”本文,以及接下来的几篇针对Kafka的文章,我们面向的对象都是爬虫工程师或
分类:
其他好文 时间:
2020-12-08 12:03:19
阅读次数:
3
为什么每一个爬虫工程师都应该学习Kafka摄影:产品经理与产品经理环游世界的瞬间这篇文章不会涉及到Kafka的具体操作,而是告诉你Kafka是什么,以及它能在爬虫开发中扮演什么重要角色。一个简单的需求假设我们需要写一个微博爬虫,老板给的需求如下:开发爬虫对你来说非常简单,于是三下五除二你就把爬虫开发好了:接下来开始做报警功能,逻辑也非常简单:再来看看统计关键词的功能,这个功能背后有一个网页,会实时
分类:
其他好文 时间:
2020-12-08 12:02:43
阅读次数:
2
一日一技:不使用try...except掩盖一些已知异常摄影:产品经理下厨:kingname产品经理的母上送的大闸蟹在我们写代码的过程中,可能会遇到很多很多的异常,其中有一些异常,我们知道它无关紧要,可以忽略,那么我们的代码可能会这样写:nums=[1,2,3,‘4‘,5,6]fornuminnums:try:print(num+1)exceptTypeError:pass在这段代码中,需要让列表
分类:
其他好文 时间:
2020-12-08 12:02:15
阅读次数:
2
一日一技:在Python中实现函数重载摄影:产品经理下厨:kingname假设你有一个函数connect,它有一个参数address,这个参数可能是一个字符串,也可能是一个元组。例如:connect(‘123.45.32.18:8080‘)connect((‘123.45.32.18‘,8080))你想在代码里面兼容这两种写法,于是你可能会这样写代码:defconnect(address):ifi
分类:
编程语言 时间:
2020-12-08 12:01:57
阅读次数:
6
一日一技:如何从Redis的列表中一次性pop多条数据?摄影:产品经理产品经理说我炒的蛋炒饭比图中好吃当我们想从Redis的列表里面持续弹出数据的时候,我们一般使用lpop或者rpop:importredisclient=redis.Redis()whileTrue:data=client.lpop(‘key‘)ifnotdata:breakprint(f‘弹出一条数据:{data.decode(
分类:
其他好文 时间:
2020-12-08 12:01:42
阅读次数:
2
一日一技:在Python里面的常用常量字符串摄影:产品经理地点:龙井村曾经,当我想实现:从24个小写字母中随机选择一个字母的时候,我是这样写代码的:importrandomletter=random.choice(‘qwertyuiopasdfghjklzxcvbnm‘)后来,我知道了,原来代码可以这样写:importrandomimportstringletter=random.choice(s
分类:
编程语言 时间:
2020-12-08 12:01:30
阅读次数:
5
如何使用Flupy构建数据处理管道摄影:产品经理厨师:kingname经常使用Linux的同学,肯定对|这个符号不陌生,这个符号是Linux的管道符号,可以把左边的数据传递给右边。例如我有一个spider.log文件,我想查看里面包含"ERROR"关键词,同时时间为2019-11-23的数据,那么我可以这样写命令:catspider.log|grepERROR|grep"201
分类:
其他好文 时间:
2020-12-08 12:01:17
阅读次数:
2
一日一技:使用PPT进行扣图,让你抛弃PhotoShop摄影:产品经理买单:kingname说到移除图片背景,很多人想到的是使用PhotoShop这种大型软件来处理。但实际上,最新版的PowerPoint就能实现这个目的。首先,我们把图片添加到PPT中,如下图所示。然后双击图片,进入图片编辑状态,如下图所示:此时,在左上角可以看到移除背景的按钮。点击它。PPT此时会自动猜测哪些内容可能是你要移除的
分类:
其他好文 时间:
2020-12-08 12:00:32
阅读次数:
2
一日一技:在Python中像字典一样持久化数据摄影:产品经理买单:kingname我们知道,如果我们在Python中想把一段数据持久化到硬盘上,最简单的办法就是写文件:withopen(‘data.txt‘,‘w‘,encoding=‘utf-8‘)asf:f.write(‘username:1234567\n‘)f.write(‘password:9876543\n‘)但这样做有一个弊端,就是在
分类:
编程语言 时间:
2020-12-08 12:00:14
阅读次数:
6
一日一技:Python下面最简单的单例模式写法摄影:产品经理买单:kingname二十几种设计模式中,单例模式是最简单最常用的一种。在其他语言里面实现单例模式要写不少代码,但是在Python里面,有一种非常简单的单例模式写法。为了演示这种简单的写法,我们首先创建一个文件,DBUtil.py文件,用来模拟数据库操作类。这个文件里面的代码如下:classDBUtil:def__init__(self)
分类:
编程语言 时间:
2020-12-08 11:59:58
阅读次数:
5