CDH6.3.2集成flink的部署配置标签（空格分隔）：大数据平台构建一：flink的简介二：cdh6.3.2集成flink一：flink的简介ApacheFlink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运
分类：
其他好文 时间：
2020-06-22 09:30:23
阅读次数：
415
? 如何用形象的比喻描述大数据的技术生态？Hadoop、Hive、Spark 之间是什么关系？对于大部分人来说都是傻傻分不清楚。 今年来大数据、人工智能获得了IT界大量的关注。如果一个企业不玩大数据，都不好意思说自己是在IT圈混的。我敢打赌，你在中关村西二旗地铁站溜一圈，保准你会听到如下名词：Had ...
分类：
其他好文 时间：
2020-06-20 23:54:38
阅读次数：
100
根据IBM的统计报告显示，过去两年内，当今世界上90%的数据产生源于新设备、传感器以及技术的出现，数据增长率也会为此加速。而从技术上将，这意味着大数据领域，处理这些数据将变得更加复杂和具有挑战性。例如移动应用广告、欺诈检测、出租车预订、患者监控等场景处理时，需要对实时数据进行实时处理，以便做出快速可行的决策。目前业界有开源不少实时计算引擎，以Apache基金会的两款开源实时计算引擎最受欢迎，它们分
分类：
其他好文 时间：
2020-06-20 09:12:52
阅读次数：
230
用一个例子介绍集群与分布式： 小餐馆原来只有一个厨师，切菜洗菜备料炒菜他都全干。后来餐馆的客人多了，厨房里一个厨师忙不过来，又请了个厨师，两个厨师都能炒一样的菜，这两个厨师的关 系是集群。为了让厨师专心炒菜，把菜做到极致，又请了个配菜师负责切菜，备菜，备料，厨师和配菜师的关系是分布式，一个配菜师也忙 ...
分类：
其他好文 时间：
2020-06-19 16:17:38
阅读次数：
39
https://blog.csdn.net/u012102306/article/details/51637366 /bin/spark-submit \ --master yarn-cluster \ --num-executors 100 \ --executor-memory 6G \ --e ...
分类：
其他好文 时间：
2020-06-19 12:03:23
阅读次数：
58
函数的定义为： def function_name (parameter_list) : return_type = { function_body } 其中，return_type可以省略，使用推断类型，但是recursive method（递归函数）就必须带return_type；函数使用ret ...
分类：
其他好文 时间：
2020-06-19 11:48:05
阅读次数：
43
Scala 学习 -- 其他集合类学习 一、序列 列表缓冲 ListBuffer List类提供对列表头部快速访问，尾部访问并不高效。使用List类在尾部追加元素往往通过reverse，表头添加， reverse实现。 通过ListBuffer可以简单实现。ListBuffer是一个可变对象，包含在 ...
分类：
其他好文 时间：
2020-06-18 23:24:45
阅读次数：
76
原始RDD或数据集中的每一个分区都映射一个或多个数据文件， 该映射是在文件的一部分或者整个文件上完成的。 Spark Job RDD/datasets在执行管道中，通过根据分区到数据文件的映射读取数据输入到RDD/dataset。 如何根据某些参数确定spark的分区数？ 影响数据分区数的参数： ( ...
分类：
其他好文 时间：
2020-06-18 13:16:01
阅读次数：
66
1.在使用Spark的 sum() 算子经常遇到结果被自动转化为科学技术 如何正常显示呢 假如 n结果会是一个科学计数法 val n=data.map(x=>x.toInt).sum() 然后我们 val a = BigDecimal(n) println(a) 这样打印出来的结果就是正常的大数 ...
分类：
其他好文 时间：
2020-06-16 10:24:45
阅读次数：
95
1.基于Receiver的方式 这种方式使用Receiver来接收kafka中的数据，Receiver是基于kafka的高层Consumer API来实现的。Receiver从Kafka中获取的数据都是存储在Spark Executor的内存中的，然后Spark Streaming启动的job会去处 ...
分类：
其他好文 时间：
2020-06-15 22:58:10
阅读次数：
60
