什么是并行度： 并行度的优点就是能够最大限度的利用机器的多个cpu资源，是多个cpu同时工作，从而达到提高数据库工作效率的目的。在系统空闲时间，使用并行是个不错的选择，但是好东西总是相对而言，没有绝对的好坏，不当的使用，同样会引起数据库的新的问题产生。 1、查看并行度 2、修改并行度 3、在语句中指 ...
分类：
数据库 时间：
2019-07-23 18:52:00
阅读次数：
142
课程大纲： 1、storm的基本介绍 2、storm的架构模型 3、storm的安装 4、storm的UI管理界面 5、storm的编程模型 6、storm的入门程序 7、storm的并行度 8、storm的消息的分发策略 9、strom与kafka的集成 搞定 10、 实时看板综合案例 1、 st ...
分类：
其他好文 时间：
2019-07-22 00:06:28
阅读次数：
120
一，并行度 如果并行度设置的不足，那么就会导致集群浪费。Spark自动会根据文件的大小，是否可分割等因素来设置map的数目(后面会详细讲解输入格式，同时详细讲解各种输入的map数的决定)。对于分布式reduce操作，例如groupbykey和reducebykey，默认它使用的是分区数最大的父RDD ...
分类：
其他好文 时间：
2019-07-09 13:43:50
阅读次数：
92
章节详情 第1章 课程导学 第2章 初识实时流处理Storm 第3章 Storm核心概念 第4章 Storm编程 第5章 Storm周边框架使用 第6章 Storm架构及部署 第7章 并行度 第8章 分组策略 第9章 Storm可靠性 第10章 DRPC 第11章 Storm整合其他大数据框架的使用 ...
分类：
编程语言 时间：
2019-07-01 14:12:47
阅读次数：
255
什么是storm的并发度 一个topology（拓扑）在storm集群上最总是以executor和task的形式运行在suppervisor管理的worker节点上。而worker进程都是运行在jvm虚拟机上面的，每个拓扑都会被拆开多个组件分布式的运行在worker节点上。 1.worker 2.e ...
分类：
其他好文 时间：
2019-05-10 21:56:15
阅读次数：
130
一、Maptask并行度与决定机制 1.一个job任务的map阶段的并行度默认是由该任务的大小决定的； 2.一个split切分分配一个maprask来并行处理； 3.默认情况下，split切分的大小等于blocksize大小； 4.切片不是mapper类中对单词的切片，而是对每一个处理文件的单独切片 ...
分类：
其他好文 时间：
2019-03-24 23:28:59
阅读次数：
691
第3章 MapReduce框架原理3.1 InputFormat数据输入3.1.1 切片与MapTask并行度决定机制3.1.2 Job提交流程源码和切片源码详解3.1.3 FileInputFormat切片机制3.1.4 CombineTextInputFormat切片机制3.1.5 Combin ...
分类：
其他好文 时间：
2019-02-16 00:07:17
阅读次数：
204
Tuning Spark 数据序列化 内存调优 内存管理概述 确定内存消耗 调整数据结构 序列化 RDD 存储 垃圾收集调整 其他注意事项 并行度水平 减少任务的内存使用 广播大的变量 数据本地化 概要 内存管理概述 确定内存消耗 调整数据结构 序列化 RDD 存储 垃圾收集调整 并行度水平 减少任 ...
分类：
其他好文 时间：
2019-01-24 11:06:06
阅读次数：
171
val conf = new SparkConf().setAppName("WordCount_groupBy").setMaster("local") // .set("spark.default.parallelism", "100") // 1. 调节并行度 .set("spark.exec... ...
分类：
其他好文 时间：
2019-01-08 19:20:41
阅读次数：
157
性能调优： 总则：加资源加并行度 简单直接，调节最优的资源配置 RDD架构和持久化 当可分配的资源无法达到更多的时候在考虑性能调优 从 重剑无锋 到 花拳绣腿 1.分配资源 并行度 RDD架构和缓存 2.shuffle调优 3.spark算子调优 4.JVM调优 、 广播大变量 分配哪些资源：exe ...
分类：
其他好文 时间：
2019-01-01 15:24:57
阅读次数：
225
