一.hadoop版本概述 不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进),Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称CDH), Hortonwo ...
分类:
其他好文 时间:
2020-04-28 17:00:18
阅读次数:
557
错误信息: ERROR 2019-09-05 10:29:05,700 NetUtil.py:96 - EOF occurred in violation of protocol (_ssl.c:579)ERROR 2019-09-05 10:29:05,700 NetUtil.py:97 - SS ...
分类:
其他好文 时间:
2020-04-14 11:04:38
阅读次数:
116
在Android中,多语言字符串都是以各种不同文件夹下的xml保存的,String文件作为Resource的一种,通过Resource资源包的动态替换更新,完成多语言的动态更新。 ...
分类:
移动开发 时间:
2020-04-07 18:30:12
阅读次数:
92
系统 centos7 远程连接工具MobaXterm 一、虚拟机 待整理 二、阿里云 2.1 阿里云准备 1.三台CES 2.若需要,购买公网弹性IP并绑定 3.若需要,可以购买云盘 挂载数据盘 阿里云购买的第2块云盘默认是不自动挂载的,需要手动配置挂载上。 (1)查看SSD云盘 sudo fdis ...
分类:
其他好文 时间:
2020-03-10 14:08:52
阅读次数:
69
K8s多节点部署需要准备的环境:6台centos7设备:192.168.1.11master01192.168.1.12node1192.168.1.13node2192.168.1.14master02192.168.1.15lb1192.168.1.16lb2VIP:192.168.1.100实验步骤:1:自签ETCD证书2:ETCD部署3:Node安装docker4:Flannel部署(先写
分类:
其他好文 时间:
2020-02-10 09:58:55
阅读次数:
64
一、启动服务时,出现若干循环符号链接错误,比如下面是启动ranger时发生的其中一个错误信息: setup_tagsync(upgrade_type=upgrade_type) File "/var/lib/ambari-agent/cache/stacks/HDP/3.0/services/RAN ...
分类:
其他好文 时间:
2020-02-08 11:44:06
阅读次数:
83
版本 HDP:3.0.1.0 HBase:2.0.0 一、前言 之前的文章也提到过,最近工作中需要对HBase进行二次开发(参照HBase的AES加密方法,为HBase增加SMS4数据加密类型)。研究了两天,终于将开发流程想清楚并搭建好了debug环境,所以就迫不及待地想写篇文章分享给大家。 <! ...
分类:
其他好文 时间:
2020-01-26 17:45:45
阅读次数:
85
linux环境 假设hdfs安装路径(例如是): /usr/hdp/hadoop/bin/hdfs 1. -ls 列出当前目录下的文件、文件夹 /usr/hdp/hadoop/bin/hdfs dfs -ls /apps/hive/warehouse/my_home 2. 查看文件,例如hive表的 ...
分类:
Web程序 时间:
2020-01-18 21:10:35
阅读次数:
172
现象:hdp的集群没有配置spak的临时本地目录,默认在跑程序的时候会将中间过程的文件存放在本地的/tmp目录下 如果跑的spark数据量过大,就会导致/tmp下文件过大,最终导致根分区被占满,系统崩溃 解决办吧:修改spark的环境变量配置文件,在ambari界面上找到spark-env.sh的配 ...
分类:
其他好文 时间:
2019-12-20 12:12:42
阅读次数:
211
w4G-in5u3SH75RoB3VZIX8htiZgw4ELilwvPcHAIQWfwfXv5n0IHDp5hv1BM3+H1XygMtiE0-JBgacjE9tz33sIh542EmsGs1yg638UxVfmWqNLqu-Zw91XxNEiZF7DC7-iV1XbSfsgxI8Tvqr-ZMT ...
分类:
其他好文 时间:
2019-12-02 19:12:53
阅读次数:
456