Zookeeper作为一个分布式协调系统提供了一项基本服务： 分布式锁服务 ，分布式锁是分布式协调技术实现的核心内容。像配置管理、任务分发、组服务、分布式消息队列、分布式通知/协调等，这些应用实际上都是基于这项基础服务由用户自己摸索出来的。 1.Zookeeper在大数据系统中的常见应用 zooke ...
分类：
其他好文 时间：
2018-09-22 18:24:48
阅读次数：
202
Zookeeper作为一个分布式协调系统提供了一项基本服务： 分布式锁服务 ，分布式锁是分布式协调技术实现的核心内容。像配置管理、任务分发、组服务、分布式消息队列、分布式通知/协调等，这些应用实际上都是基于这项基础服务由用户自己摸索出来的。 1.Zookeeper在大数据系统中的常见应用 zooke ...
分类：
其他好文 时间：
2018-09-15 11:33:16
阅读次数：
164
背景 在平时的开发中，经常会碰到一些需要检测tcp连接是否正常的场景。比如一个分布式的应用，一个调度任务的节点管理一堆用来跑业务的节点。当调度节点进行调度的时候，需要把任务分发给它认为正常的业务节点去执行。业务节点是否正常，一个重要的参考依据就是调度节点和业务节点之间的tcp连接是否正常。这时候就需 ...
分类：
其他好文 时间：
2018-09-03 02:24:44
阅读次数：
2340
工作队列-WorkQueue 实现功能： 将耗时的任务分发给多个工作者 设计思想： 避免直接去做一件资源密集型的任务，并且还得等它完成。因此将任务安排后再去做。将任务封装为一个消息，发到队列中。一个工作进程将在后台取出任务并最终完成。如果开启多个工作进程，任务将在这个多工作进程间共享 消息分发： 一 ...
分类：
其他好文 时间：
2018-08-24 19:28:16
阅读次数：
232
业务迅速发展带来了跑批数据量的急剧增加。单机处理跑批数据已不能满足需要，另考虑到企业处理数据的扩展能力，多机跑批势在必行。多机跑批是指将跑批任务分发到多台服务器上执行，多机跑批的前提是”数据分片”。elasticJob通过JobShardingStrategy支持分片跑批。 跑批配置需要做如下修改： ...
分类：
其他好文 时间：
2018-07-01 11:44:19
阅读次数：
692
消息队列及常见消息队列介绍 2017-10-10 09:35操作系统/客户端/人脸识别 消息队列及常见消息队列介绍 2017-10-10 09:35操作系统/客户端/人脸识别 一、消息队列(MQ)概述 消息队列（Message Queue），是分布式系统中重要的组件，其通用的使用场景可以简单地描述为 ...
分类：
Web程序 时间：
2018-05-16 15:14:34
阅读次数：
2413
问题 hive访问es 一个普通的count(*)操作开启一个mr任务进度，总是停留在5% 查看该job一共启动5个task 选择一个进入 发现把任务分发到不同的节点 查看日志 发现是三台es集群的9200端口没有对相应机器开放 ...
分类：
其他好文 时间：
2018-03-06 17:01:36
阅读次数：
167
1、前言 昨天总结了一下Linux下网络编程“惊群”现象，给出Nginx处理惊群的方法，使用互斥锁。为例发挥多核的优势，目前常见的网络编程模型就是多进程或多线程，根据accpet的位置，分为如下场景： （1）单进程或线程创建socket，并进行listen和accept，接收到连接后创建进程和线程处 ...
分类：
系统相关 时间：
2018-02-25 17:28:25
阅读次数：
3077
NSPort是一个描述通信通道的抽象类。通信发生在两个NSPort对象之中，这两个NSPort对象通常属于不同的进程或任务。分发对象系统使用NSPort对象来返回或发送NSProtMessage对象。你应该尽可能使用分发对象来完成应用间通信，必要时才使用NSPort对象。 要接收发来的消息，NSPo ...
分类：
其他好文 时间：
2017-12-12 22:15:39
阅读次数：
139
测试管理工具实践 Day4 今天完成任务情况： 小靳 今天，主要在前两天的基础上继续学习挖掘jira相关内容： 学会了如何创建项目，并且创建了issue 学会了创建一般账号，并且可以将任务分发给一般开发成员 学习使用了万彩录屏大师，在学习一个新工具的同时又学习了另一个新工程。第一次接触录屏工具还是比 ...
分类：
其他好文 时间：
2017-11-16 18:39:08
阅读次数：
131
