1.hive小文件合并cd hive /conf/hive-default输出合并合并输出小文件。输出时，若是太多小文件，每个小文件会与一个block进行对应，而block存在的意义是为了方便在namenode中存储，那么过多的block将会充斥namenode的表中，待集群规模增大和运行次数增大， ...
分类：
其他好文 时间：
2018-05-14 22:56:35
阅读次数：
148
1.一共三个节点(zk服务器集群规模不小于3个节点),要求服务器之间系统时间保持一致。 2. 先去zookeeper官网下载zookeeper的安装包，并将zookeeper通过工具上传到服务器。上传zk 进行解压： tar -zxvf zookeeper-3.4.5.tar.gz 重命名： mv ...
分类：
其他好文 时间：
2018-04-17 19:35:07
阅读次数：
155
[toc] 简介 滚动更新 当kubernetes集群中的某个服务需要升级时，传统的做法是，先将要更新的服务下线，业务停止后再更新版本和配置，然后重新启动并提供服务。如果业务集群规模较大时，这个工作就变成了一个挑战，而且先全部了停止，再逐步升级的方式会导致服务较长时间不可用。kubernetes提供 ...
分类：
Web程序 时间：
2018-04-12 20:49:52
阅读次数：
1888
* ClouderaManager与CDH 集群简述 对于企业而言，一般的集群大小规模大概是如下映射关系： 集群大小 小：10~30节点 中：100~300节点 大：1000+节点 对应所需的zookeeper集群规模大概是 小：3台 中：5台 大：7台 有些同学会说，学这玩意啥用啊？我之前集群环境 ...
分类：
其他好文 时间：
2018-01-12 22:40:51
阅读次数：
760
尊敬的用户，您好！ 感谢您长期以来对七牛云的关注与厚爱。 自成立以来，我们一直致力于为用户提供“简单可信赖”的云服务。七牛云以存储起家，在存储方面先人一步，不断推陈出新。随着我们自主研发的海量存储系统不断进步和华南存储集群规模的扩大。综合考虑各项因素，我们决定对对象存储华南空间进行降价，让更多的企业 ...
分类：
其他好文 时间：
2017-09-13 14:08:17
阅读次数：
185
该视频教程共22讲，由王家林老师主讲。 第01讲：为什么会有第一代大数据技术Hadoop和第二代大数据技术Spark？ 第02讲：10分钟从技术角度理解Hadoop 第03讲：Hadoop集群安装解析 第04讲：Hadoop集群构建硬件选择、集群规模、网络拓扑、机架感知等 第05讲：Hadoop集群 ...
分类：
其他好文 时间：
2017-08-14 10:12:38
阅读次数：
190
greenplum是2(master)+7(segment)的集群规模 系统刚准备上线，是用来做统计数据库的，正在帮忙一个hadoop集群核对其数据的准确性，在这个greenplum库中入了清单数据 后检查分析是部分建表语句存在问题，没有指定字段做分布键，也没有指定其是随机分布，导致默认为第一个字段 ...
分类：
数据库 时间：
2017-06-30 13:45:41
阅读次数：
454
1、一共三个节点（zk服务器集群规模不小于3个节点），要求服务器之间系统时间保持一致。2、进行解压：tar zookeeper-3.4.5.tar.gz3、重命名：mv zookeeper-3.4.5 zookeeper4、修改环境变量：vim /etc/profile export ZOOKEEP ...
分类：
其他好文 时间：
2017-06-10 12:24:02
阅读次数：
116
MPI集群 1.1.1 背景 我们的集群规模不断地在加大， 17财年时我们的机器规模预估1.5W台 与此同时我们却有着不同的感受，明显感觉到了各种任务的运行效率都在变低，主要问题如下 ...
分类：
其他好文 时间：
2017-06-07 15:42:06
阅读次数：
165
Istio 的优势 集群规模可视性：在故障状况出现时，运营人员需要利用多种工具以始终关注集群运行状况并分析微服务状态图表。Istio 项目能够监控与应用程序及网络活动相关的数据，利用 Prometheus 与 Grafana 对这部分数据加以渲染，而后将相关指标与日志记录发送至任何收集、聚合与查询系 ...
分类：
其他好文 时间：
2017-05-25 23:29:49
阅读次数：
253
