本文将重点探讨ElasticSearchClient的相关知识，主要关注TransportClient与RestClient。Elasticsearchclient是我们进入Elasti-Search的大门。1、概述本文关注Elasticsearch与Java相关的API实现。所有Elasticsearch操作都是使用Client对象执行的。Client定义的所有API都是异步执行的(要么使用事件
分类：
其他好文 时间：
2020-12-09 11:54:29
阅读次数：
5
使用DockerSwarm搭建分布式爬虫集群在爬虫开发过程中，你肯定遇到过需要把爬虫部署在多个服务器上面的情况。此时你是怎么操作的呢？逐一SSH登录每个服务器，使用git拉下代码，然后运行？代码修改了，于是又要一个服务器一个服务器登录上去依次更新？有时候爬虫只需要在一个服务器上面运行，有时候需要在200个服务器上面运行。你是怎么快速切换的呢？一个服务器一个服务器登录上去开关？或者聪明一点，在Red
分类：
其他好文 时间：
2020-12-09 11:53:29
阅读次数：
6
本节将开始介绍DocumentAPI，本节将重点介绍ElasticSearchDoucmentIndexAPI(新增索引)。从上节可知，ElasticSearchIndexRestHignlevelIndexApi声明如下：publicfinalIndexResponseindex(IndexRequestindexRequest,RequestOptionsoptions)throwsIOExc
一日一技：隐患——redis-py的blpop可能由于网络波动导致收不到信息摄影：产品经理厨师：kingname我们在使用Redis做消息队列的时候，常常使用列表这个数据结构，并写出如下的代码：importredisimporttimeclient=redis.Redis()whileTrue:data=client.lpop(‘key‘)ifnotdata:time.sleep(5*60)con
分类：
其他好文 时间：
2020-12-08 12:57:00
阅读次数：
15
为aiohttp爬虫注入灵魂摄影：产品经理与产品经理在苏州的小生活听说过异步爬虫的同学，应该或多或少听说过aiohttp这个库。它通过Python自带的async/await实现了异步爬虫。使用aiohttp，我们可以通过requests的api写出并发量匹敌Scrapy的爬虫。我们在aiohttp的官方文档上面，可以看到它给出了一个代码示例，如下图所示：我们现在稍稍修改一下，来看看这样写爬虫，运
分类：
Web程序 时间：
2020-12-08 12:03:47
阅读次数：
9
一日一技：如何从Redis的列表中一次性pop多条数据？摄影：产品经理产品经理说我炒的蛋炒饭比图中好吃当我们想从Redis的列表里面持续弹出数据的时候，我们一般使用lpop或者rpop:importredisclient=redis.Redis()whileTrue:data=client.lpop(‘key‘)ifnotdata:breakprint(f‘弹出一条数据：{data.decode(
分类：
其他好文 时间：
2020-12-08 12:01:42
阅读次数：
2
一日一技：如何正确获取MongoDB集合里面的最后一条数据摄影：产品经理厨师：kingname在我们使用Python查询MongoDB的时候，一般会使用MongoDB的集合（collection）对象的find()方法或者find_one()方法：importpymongohandler=pymongo.MongoClient().chapter_7.example_data_4#获得一个游标操作
分类：
数据库 时间：
2020-12-07 12:47:33
阅读次数：
11
一日一技：使用Locust对网络接口进行压力测试摄影：产品经理买单：kingname最近，有同学反应我的博客[1]访问速度有点慢，那么我如何直观地知道我博客的访问速度呢？我们可以使用Locust这个基于Python的压力测试工具来测试博客的访问速度。首先使用pip安装Locust:python3-mpipinstalllocust如果在macOS下安装出现了如下的报错信息：那么需要先执行如下命令：
分类：
其他好文 时间：
2020-12-07 12:47:03
阅读次数：
11
Windows Socket 学习编程 最近需要调试socket程序，记录一下socket的demo。由于socket有多种情况，一下分开讨论。 阻塞式单Client模式 这种是最基本的模式，Server只等待一个Client连接，这种可用于两个进程或者线程之间的通信。 Server Code vo ...
使用 Ribbon 实现客户端侧负载均衡 一、基本用法 一般如果导入 Eureka Client 服务的话，自动包含了 Ribbon，所以无需再次导入。 用法如下： 第一种：创建一个名为 RestTemplate 的 bean，并为其添加 @LoadBalanced 注解，使用该 RestTempl ...
分类：
其他好文 时间：
2020-12-07 12:35:22
阅读次数：
5
