自己学习Hadoop时,整理的资料,方便以后查看,希望能帮到大家,有什么问题欢迎大家指出 一、Hadoop是什么?其核心又是什么? Hadoop历史 雏形开始于2002年的Apache的Nutch,Nutch是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜 ...
分类:
其他好文 时间:
2020-07-23 22:35:14
阅读次数:
65
1 Hadoop 源码编译支持 Snappy 压缩 1.1 资源准备 1.CentOS 联网 配置 CentOS 能连接外网。Linux 虚拟机 ping www.baidu.com 是畅通的 注意:采用 root 角色编译,减少文件夹权限出现问题 2.jar 包准备(hadoop 源码、JDK8 ...
分类:
其他好文 时间:
2020-07-23 22:32:44
阅读次数:
73
namenode1 namenode2 datanode zk zkfc jnn node0001 * * * node0002 * * * * * node0003 * * * node0004 * * 1,两个namenode节点相互免密钥,以完成主备切换 node0002:cd .ssh ss ...
分类:
其他好文 时间:
2020-07-23 01:34:21
阅读次数:
110
1.-help : 输出这个命令的相关参数用法 hadoop fs -help rm (删除的相关用法) 2.-ls : 显示目录信息 hadoop fs -ls / 递归查看 hadoop fs -ls -R / 3.-mkdir: 在hdfs上创建目录 hadoop fs -mkdir -p / ...
分类:
其他好文 时间:
2020-07-22 21:02:50
阅读次数:
82
1 数据导入 1.1 向表中装载数据(Load) 1.语法 hive> load data [local] inpath '/opt/module/datas/student.txt' [overwrite] into table student [partition (partcol1=val1, ...
分类:
其他好文 时间:
2020-07-22 20:27:55
阅读次数:
71
1. 编译安装 memcached 见官方网站 http://memcached.org 2. 编写开机启动脚本 memcached (最简化版) #!/bin/sh memcached -d -m 1024 -u root -l 127.0.0.1 -p 11211 -c 2048 -P /tmp ...
分类:
系统相关 时间:
2020-07-22 16:25:18
阅读次数:
99
##1、安装必备软件包 yum install -y gcc gcc-c++ autoconf automake bison libtool lrzsz make ncurses-devel 安装cmake 可以使用yum安装 yum -y install cmake 也可以使用源码安装 wget ...
分类:
数据库 时间:
2020-07-22 01:56:06
阅读次数:
105
Hadoop - hdfs dfs常用命令的使用 用法 1,-mkdir 创建目录Usage:hdfs dfs -mkdir [-p] < paths>选项:-p很像Unix mkdir -p,沿路径创建父目录。 2,-ls 查看目录下内容,包括文件名,权限,所有者,大小和修改时间Usage:hdf ...
分类:
其他好文 时间:
2020-07-21 21:48:33
阅读次数:
80
1.虚拟机(hadoop11)中的hadoop如是第一次启动,则需要格式化namenode 命令: hadoop namenode -format 注意:如之前有安装过,则需要删除配置文件core-site.xml里的hadoop.tmp.dir的存储目录及日志文件夹 2.在hadoop11上启动n ...
分类:
其他好文 时间:
2020-07-21 21:36:10
阅读次数:
66
1.需求 某分布式系统中,主节点可以有多台,可以动态上下线,任意一台客户端都能实时感知到主节点服务器的上下线。 2.需求分析,如图 5-12 所示 3.具体实现 (0)先在集群上创建/servers 节点 [zk: localhost:2181(CONNECTED) 10] create /serv ...
分类:
其他好文 时间:
2020-07-21 14:07:54
阅读次数:
68