别只会一股脑的String -> POJO了，Jackson优雅灵活的树模型你值得拥有
分类：
Web程序 时间：
2020-08-31 13:27:52
阅读次数：
81
1.什么是聚合聚合是MongoDB的高级查询语言，它允许我们通过转化合并由多个文档的数据来生成新的在单个文档里不存在的文档信息。MongoDB中聚合(aggregate)主要用于处理数据(诸如统计平均值，求和等)，并返回计算后的数据结果，有点类似sql语句中的count(*)。在MongoDB中，有两种方式计算聚合：Pipeline和MapReduce。Pipeline查询速度快于MapReduc
分类：
数据库 时间：
2020-08-19 20:09:42
阅读次数：
128
1.mapReduce 的shuffle 过程 ： https://www.iteye.com/blog/langyu-992916 2.spark streaming : https://www.jianshu.com/p/0691204282ab CAS的理解? https://www.jian ...
分类：
其他好文 时间：
2020-08-13 12:10:50
阅读次数：
53
数据预处理 在正式处理数据之前对收集的数据进行预先处理的操作。 原因：不管通过何种手段收集的数据 往往是不利于直接分析的 数据中存在的格式规整的差异。 目的：把不干净的数据 格式不规则的数据 通过预处理清洗变成格式统一规整的结构化数据 技术：MapReduce 预处理的编程思路问题 在使用mr编程的 ...
分类：
Web程序 时间：
2020-08-10 17:26:02
阅读次数：
80
1、JedisConnectionPool.scala package sparkstreaming import redis.clients.jedis.{Jedis, JedisPool, JedisPoolConfig} object JedisConnectionPool{ val conf ...
分类：
其他好文 时间：
2020-08-07 18:03:42
阅读次数：
62
针对hive on mapreduce 1：我们可以通过一些配置项来使Hive在执行结束后对结果文件进行合并： 参数详细内容可参考官网：https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties 1 2 3 4 ...
分类：
数据库 时间：
2020-08-03 19:56:21
阅读次数：
103
Combiner是MR程序中Mapper和Reducer之外的一种组件(本质是一个Reducer类) Combinr组件的父类就是Reducer Conbimer只有在驱动类里设置了之后，才会运行 Combiner和Reducer的区别在于运行的位置： map sort copy sort(shuf ...
分类：
其他好文 时间：
2020-07-30 01:32:34
阅读次数：
65
1.1 什么是 Azkaban Azkaban 是由 Linkedin 公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的 key:value 对的方式，通 过配置中的 Dependencies 来设置依赖关系。Azkaban 使用 j ...
分类：
其他好文 时间：
2020-07-29 00:41:05
阅读次数：
74
Spark的架构图 1、RDD(弹性分布式数据集) RDD是对象的分布式集合。 RDD以并行方式应用和记录数据转换 RDD也提供数据沿袭——以图形形式给出每个中间步骤的祖先树，当RDD的一个分区丢失，可以根据祖先树重建该分区。 RDD有两组操作，转换(transformation)和行动(actio ...
分类：
其他好文 时间：
2020-07-28 22:37:30
阅读次数：
72
Hive函数大全–完整版 现在虽然有很多SQL ON Hadoop的解决方案，像Spark SQL、Impala、Presto等等，但就目前来看，在基于Hadoop的大数据分析平台、数据仓库中，Hive仍然是不可替代的角色。尽管它的相应延迟大，尽管它启动MapReduce的时间相当长，但是它太方便、 ...
分类：
其他好文 时间：
2020-07-28 14:21:17
阅读次数：
191
