图中是暗黑领域，非常牛逼的技能。 背景 DDD中出现的名词： 领域，子领域，核心域，通用域，支撑域，限界上下文，聚合，聚合根，实体，值对象 都是关键概念，但是又比较晦涩，在开始DDD之前，搞清楚这些关键概念名词非常的重要。 那它们作用体现在哪里呢？ 领域-子领域 领域是： 从事专门活动或者事业的范围 ...
分类：
其他好文 时间：
2020-05-31 00:42:53
阅读次数：
71
Apache Spark Apache Spark是一个开源集群运算框架，最初是由加州大学柏克莱分校AMPLab所开发。相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中，Spark使用了存储器内运算技术，能在数据尚未写入硬盘时即在存储器内分析运算。Spark在存储器内运行 ...
分类：
Web程序 时间：
2020-05-31 00:41:36
阅读次数：
95
一、通用优化 1.1、NameNode 的元数据备份使用 SSD 1.2、定时备份 NameNode 上的元数据 建议每小时或者每天备份，如果数据极其重要，可以5~10分钟备份一次。备份可以通过定时任务复制元数据目录即可。 1.3、为 NameNode 指定多个元数据目录 使用 dfs.name.d ...
分类：
系统相关 时间：
2020-05-30 21:52:59
阅读次数：
105
一 概述 1.1 为什么需要工作流调度系统 1）一个完整的数据分析系统通常都是由大量任务单元组成： shell 脚本程序，java 程序，mapreduce 程序、hive 脚本等。2）各任务单元之间存在时间先后及前后依赖关系。3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行 ...
分类：
其他好文 时间：
2020-05-30 20:00:49
阅读次数：
59
第1章 Flume概述 1.1 Flume定义 Flume(水槽) 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 在2009年Flume被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flum ...
分类：
Web程序 时间：
2020-05-30 19:56:36
阅读次数：
89
第1章 Hive入门 1.1 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计（分析数据的框架）。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序。 1）Hive ...
分类：
其他好文 时间：
2020-05-30 19:36:05
阅读次数：
56
大概实现思路如下：读取聚合图模拟数据源json，构造openlayers聚合图数据源features，然后创建聚合图图层（核心数据源类Cluster），设置Cluster的初始化一些参数值，参数详细说明自行看openlayers官网文档api。 ...
分类：
其他好文 时间：
2020-05-30 18:25:44
阅读次数：
241
JMeter中的聚合报告中，主要有十几项的参数，我安装的是 jmeter5.1 版本的，参数如下： 下面我们来共同学习这些参数的作用： 1、Lable：Label：每个 JMeter 的 element（例如 HTTP Request）都有一个 Name 属性，这里显示的就是 Name 属性的值； ...
分类：
其他好文 时间：
2020-05-30 15:29:58
阅读次数：
158
aggregate(zeroValue, seqOp, combOp) 入参： zeroValue表示一组初值 Tuple seqOp表示在各个分区partition中进行 什么样的聚合操作，支持不同类型的聚合 Func combOp表示将不同分区partition聚合后的结果再进行聚合，只能进行同 ...
分类：
其他好文 时间：
2020-05-30 10:34:58
阅读次数：
89
一个单值指标聚合，它计算从聚合文档中提取的数值的平均值，这些值可以从文档中的特定数字字段中提取，也可以由提供的脚本生成。 ...
分类：
其他好文 时间：
2020-05-30 01:30:56
阅读次数：
142
