在寒假前，完成了Zookeeper系列的前5篇文章，主要是分布式的相关理论，包括CAP，BASE理论，分布式数据一致性算法：2PC，3PC，Paxos算法，Zookeeper的相关基本特性，ZAB协议。今天，完成Zookeeper系列的最后一篇也是最为重要的内容：Zookeeper的典型应用场景的介 ...
分类：
其他好文 时间：
2019-09-10 13:25:46
阅读次数：
103
MapReduce是一种可用于**数据处理的编程模型**。该模型比较简单，不易编写有用的程序。Hadoop可以运行**各种语言**版本的MapReduce程序。MapRudece程序本质是**并行运行**的，可以将大规模的数据分析任务分发给任何一个拥有足够多机器的数据中心。优势：处理大规模的数据集。
分类：
其他好文 时间：
2019-08-19 17:36:11
阅读次数：
90
定义延迟队列的两种方式一、任务分发的时候指定\App\Jobs\Jober::dispatch()->delay(20);二、定义Jober时构造方法中指定<?phpnamespaceApp\Jobs;---------------------------------------------------classTimerimplementsShouldQueue{----------
分类：
其他好文 时间：
2019-08-11 18:56:24
阅读次数：
713
一.stream group分组介绍 Stream 的分组分为随机分组、字段分组、全部分组、全局分组、无分组、直接分组，自定义分组 二.group的介绍 1.Shuffle grouping：通过tuple获取任务到supout,然后再由spout将任务分发到Bolt上。这种分组是随机性的，没有规律 ...
分类：
其他好文 时间：
2019-06-21 18:45:23
阅读次数：
116
项目预期计划 预期完成的清单分发系统具备完整的功能模块，界面友好美观，具有互动性，极大简化教师分发任务的工作量。能够替代原本一传十的通知，并可以根据学生完成情况进行统计汇总的方式，自动完成繁琐操作，节省时间。 现实进展 完成的项目具备完整的班级操作，任务分发。但仍存在不少问题，如：界面不够友好；预想 ...
分类：
其他好文 时间：
2018-12-22 01:39:14
阅读次数：
202
前言因生产环境需要，现需要搭建一个前端为Nginx的HA双向互备、后端为Nginx代理的loadbalance负载均衡集群。nginx进程基于于Master+Slave(worker)多进程模型，自身具有非常稳定的子进程管理功能。在Master进程分配模式下，Master进程永远不进行业务处理，只是进行任务分发，从而达到Master进程的存活高可靠性，Slave(worker)进程所有的业务信号都
分类：
其他好文 时间：
2018-12-20 01:05:41
阅读次数：
208
当下，大多数企业都认可通过oa办公自动化软件可实现高效管理。那么，高效管理，oa办公自动化软件究竟是如何做到呢？1、及时且到位地完成任务通过oa办公自动化软件将任务分配给相关的员工之后，可以为该任务进行优先级、到期日期和提醒的设置。通过这样的任务描述，员工就可以了解到上级分配给他的任务紧急情况和最后期限。2、及时发现问题且能解决通过oa办公自动化软件所做的任务分发，都会有所记录，进而生成日志。一旦
分类：
其他好文 时间：
2018-12-10 19:10:09
阅读次数：
185
Zookeeper作为一个分布式协调系统提供了一项基本服务：分布式锁服务，分布式锁是分布式协调技术实现的核心内容。像配置管理、任务分发、组服务、分布式消息队列、分布式通知/协调等，这些应用实际上都是基于这项基础服务由用户自己摸索出来的。1.Zookeeper在大数据系统中的常见应用zookeeper作为分布式协调系统在大数据领域非常常用，它是一个很好的中心化管理工具。下面举几个常见的应用场景。1.
分类：
其他好文 时间：
2018-11-17 19:21:54
阅读次数：
121
一、SPARK-CORE 1.spark核心模块是整个项目的基础。提供了分布式的任务分发，调度以及基本的IO功能，Spark使用基础的数据结构，叫做RDD(弹性分布式数据集),是一个逻辑的数据分区的集合，可以跨机器。RDD可以通过两种方式进行创建，一种是从外部的数据集引用数据，第二种方式是通过在现有 ...
分类：
其他好文 时间：
2018-11-09 21:10:46
阅读次数：
173
Zookeeper作为一个分布式协调系统提供了一项基本服务： 分布式锁服务 ，分布式锁是分布式协调技术实现的核心内容。像配置管理、任务分发、组服务、分布式消息队列、分布式通知/协调等，这些应用实际上都是基于这项基础服务由用户自己摸索出来的。 1.Zookeeper在大数据系统中的常见应用 zooke ...
分类：
其他好文 时间：
2018-09-23 11:51:41
阅读次数：
145
