一. 安装JDK以及环境变量 1.进入Xshell6，连接虚拟机，把普通用户改成root用户 ? 2.cd到根目录，然后再cd到usr/local文件夹中 3.创建app文件夹 ? 4.进入app文件夹，安装一个rz上传文件组件 yum -y install lrzsz 和 安装vim编辑器 yum ...
分类：
系统相关 时间：
2020-05-18 14:06:28
阅读次数：
114
安装虚拟机，我的是VMwareWorkstationPro12,在VM中创建虚拟机同时安装一个Linux环境。这里就不在细说，如果有需要的朋友可以联系微信号:18008428026,后期可以增加内容。1.准备Linux环境（我的是CentOS6.4版本）1.0在安装好一台linux后，需要配置好网络。网络配置注意:1.后期的虚拟机我们要使用NAT模式进行网络连接，先在本地机选择网络-->右键
分类：
系统相关 时间：
2020-05-18 09:20:49
阅读次数：
117
第一步：配置网络（静态IP） （网卡名称可能不同） 1. 修改： 将该配置文件中的ONBOOT=no修改为yes（网络开机自启） 将BOOTPROTO=dhcp修改为static（将ip设置为静态ip） 2. 为了能够通过外部访问到虚拟机，增加： IPADDR=192.168.154.110（110 ...
分类：
其他好文 时间：
2020-05-17 20:35:34
阅读次数：
76
HIVE分区，桶，倾斜概念 ref：https://edu.hellobi.com/course/93/play/lesson/2037 静态分区： 按日期来分区 动态分区： 商品二级类目分区（图书、数码等），是不确定的 set hive.exec.dynamic.partition 查看设置tru ...
分类：
其他好文 时间：
2020-05-17 17:42:14
阅读次数：
76
https://www.cnblogs.com/swordfall/p/8667409.html Zookeeper安装使用及工作原理分析 https://www.cnblogs.com/yuyijq/p/3424473.html Zookeeper能做什么https://www.cnblogs.c ...
分类：
其他好文 时间：
2020-05-17 09:21:36
阅读次数：
58
基本摘自网上给自己做一记录，如有错误请斧正 CombineFileInputFormat是一个抽象类。Hadoop提供了两个实现类CombineTextInputFormat和CombineSequenceFileInputFormat。 其继承关系如下： InputFormat >FileInpu ...
分类：
其他好文 时间：
2020-05-16 17:13:54
阅读次数：
87
linkis： links/conf/conf.sh deployUser=hadoop ### The install home path of LinkisLINKIS_INSTALL_HOME=/home/hadoop/Install/Linkis #Must provided WORKSPA ...
分类：
Web程序 时间：
2020-05-16 17:13:40
阅读次数：
123
基础概念 Kafka最初是由Linkedin公司开发，是一个分布式、支持分区的、多副本的，基于zookeeper协调的分布式消息系统，可以实时的处理大量数据以满足各种需求场景：基于hadoop的批处理系统、低延迟的实时系统、storm/spark流式处理引擎、web/nginx日志、访问日志、消息服 ...
分类：
其他好文 时间：
2020-05-16 00:14:31
阅读次数：
73
配置本地hadoop开发环境
配置在Eclipse环境中管理hdfs目录 ...
分类：
其他好文 时间：
2020-05-15 14:07:05
阅读次数：
81
原因： 1.防火墙没关闭（对应端口没有打开） 2.hadoop集群没有启动成功 3.hadoop集群处于安全模式 4.网络问题 解决方案： 1.关闭防火墙 2.jps查看进程，出现下面几个进程则启动成功。 hdfs三个进程中，datanode和namenode只有一个启动成功，可能是namenode ...
分类：
编程语言 时间：
2020-05-15 13:11:20
阅读次数：
271
