自己的主机上的Hadoop版本是2.7.6,是测试用的伪分布式Hadoop,在前段时间部署了Hive on Spark,但由于没有做好功课,导致了Hive无法正常启动,原因在于Hive 3.x版本不适配Hadoop 2.x版本。之前我在学校服务器上部署的Hadoop版本是3.1.2,现打算将自己的从 ...
分类:
其他好文 时间:
2019-08-09 23:24:41
阅读次数:
140
安装服务[root@172_30_3_8~]#yum-yinstalletcdkubernetes已加载插件:fastestmirrorLoadingmirrorspeedsfromcachedhostfile*base:mirrors.tuna.tsinghua.edu.cn*epel:ftp.jaist.ac.jp*extras:mirrors.tuna.tsinghua.edu.cn*upd
分类:
Web程序 时间:
2019-08-09 22:04:38
阅读次数:
172
环境说明:主机名操作系统版本ipdockerversionkubeletversion配置备注masterCentos7.6.1810172.27.9.131Docker18.09.6V1.14.22C2G备注node01Centos7.6.1810172.27.9.135Docker18.09.6V1.14.22C2G备注node02Centos7.6.1810172.27.9.136Docke
分类:
其他好文 时间:
2019-08-07 17:30:45
阅读次数:
173
If you are running clustered Kubernetes and are using static pods to run a pod on every node, you should probably be using a DaemonSet! Static pods ar ...
分类:
其他好文 时间:
2019-08-03 10:43:25
阅读次数:
123
1、redis cluster介绍 redis cluster (1)自动将数据进行分片,每个master上放一部分数据(2)提供内置的高可用支持,部分master不可用时,还是可以继续工作的 在redis cluster架构下,每个redis要放开两个端口号,比如一个是6379,另外一个就是加10 ...
分类:
其他好文 时间:
2019-07-28 15:51:28
阅读次数:
67
来源:https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#cm_cdh_compatibility Cloudera uses the following ve ...
分类:
其他好文 时间:
2019-07-27 23:43:38
阅读次数:
823
hive中有四种排序: 1、全局排序:order by 2、内部排序:sort by 3、分区排序:distribute by 4、组合排序:cluster by 全局排序:order by 说明:全局排序是在一个MapReduce中进行排序的。 参数: ASC:是升序的意思和mysql一样,同时也 ...
分类:
编程语言 时间:
2019-07-26 14:26:15
阅读次数:
113
#从豆瓣安装 pip install kanren -i http://pypi.douban.com/simple --trusted-host pypi.douban.com 聚类算法 k-Means算法 第1步 - 需要指定所需的K个子组的数量。 第2步 - 修复群集数量并将每个数据点随机分配... ...
分类:
其他好文 时间:
2019-07-23 09:34:50
阅读次数:
100
ELK(7版本)部署与架构分析 1、ELK的背景介绍与应用场景 在项目应用运行的过程中,往往会产生大量的日志,我们往往需要根据日志来定位分析我们的服务器项目运行情况与BUG产生位置。一般情况下直接在日志文件中tailf、 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中,此方法效率低 ...
分类:
其他好文 时间:
2019-07-21 23:57:23
阅读次数:
230