什么是任务调度 大数据平台技术框架支持的开发语言多种多样，开发人员的背景差异也很大，这就产生出很多不同类型的程序（任务）运行在大数据平台之上，如：MapReduce、Hive、Pig、Spark、Java、Shell、Python 等。 这些任务需要不同的运行环境，并且除了定时运行，各种类型之间的任 ...
分类：
其他好文 时间：
2021-06-23 17:16:53
阅读次数：
0
1.spark内存分配 MemoryManager |__StaticMemoryManager 静态内存管理机制 |__UnifiedMemoryManger 统一内存管理机制 1.静态内存管理机制 静态内存管理机制实现起来较为简单，但没有根据具体的数据规模和计算任务做相应的配置，很容易造成"一半 ...
分类：
其他好文 时间：
2021-06-23 17:02:31
阅读次数：
0
安装包 ambari-2.7.3.0-centos7.tar.gz HDP-3.1.0.0-centos7-rpm.tar.gz HDP-UTILS-1.1.0.22-centos7.tar.gz HDP-GPL-3.1.0.0-centos7-gpl.tar.gz Ambari Ambari 跟 ...
分类：
其他好文 时间：
2021-06-23 16:52:56
阅读次数：
0
为什么要分库分表? 将承受并发的能力提升3倍 将大数据了拆成多份 提升sql效率 用过哪些分库分表中间件/不同中间件的优缺点 cobar TDDL 只支持基本的crud操作 atlas 社区不咋维护了 sharding-jdbc(集成client) 运维成本低 缺点是耦合系统版本 mycat(pro ...
分类：
数据库 时间：
2021-06-23 16:37:48
阅读次数：
0
spark-RDD缓存,checkpoint机制,有向无环图,stage 1.RDD依赖关系 RDD依赖关系有2种不同类型，窄依赖和宽依赖。 窄依赖(narrow dependency)：是指每个父RDD的Partition最多被子RDD一个Partition使用。就好像独生子女一样。窄依赖的算子包 ...
分类：
其他好文 时间：
2021-06-22 18:39:47
阅读次数：
0
HIVE中处理的数据往往比较多，在处理数据的时候希望给处理得到的数据一个ID标识，这时候可以用到UUID。 UUID的算法的核心思想是结合机器的网卡、当地时间、一个随即数来生成UUID。从理论上讲，如果一台机器每秒产生10000000个UUID，则可以保证（概率意义上）3240年不重复。UUID 的 ...
分类：
其他好文 时间：
2021-06-21 20:24:19
阅读次数：
0
脚本位置 cd /home/hadoop/bin 脚本内容 vi kafka.sh #输入以下内容 #!/bin/bash case $1 in "start" ){ for(( i = 1;i <= 3;i = $i +1));do echo hadoop0$i kafka $1 ssh hado ...
分类：
其他好文 时间：
2021-06-20 18:41:23
阅读次数：
0
MongoDB概述 MongoDB是一款NoSQL类型的文档型数据库。 NoSQL NoSQL是一种非关系型DMS，不需要固定的架构，可以避免joins链接，并且易于扩展。NoSQL数据库用于具有庞大数据存储需求的分布式数据存储。NoSQL用于大数据和实时Web应用程序。 MongoDB特点 面向文 ...
分类：
数据库 时间：
2021-06-20 18:39:42
阅读次数：
0
1、创建topic 使用 kafka-topics.sh脚本 kafka-topics.sh --create --partitions 3 --replication-factor 2 --topic test --zookeeper hadoop01:2181,hadoop02:2181,had ...
分类：
其他好文 时间：
2021-06-20 18:38:22
阅读次数：
0
平衡树入门——替罪羊树 1 简介 替罪羊树是一颗重量平衡树，不需要旋转，但是非常暴力，据说常数很小，但是我写的替罪羊树跑不过 Treap ，可能常数比较大。。。 2 数据结构解析 2.1 节点结构体 struct node{ int val,l,r,cnt,size,allsize,not_dele ...
分类：
其他好文 时间：
2021-06-20 17:42:23
阅读次数：
0
