Hadoop简介 Hadoop由Apache基金会开发的分布式系统基础架构,是利用集群对大量数据进行分布式处理和存储的软件框架。用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序。Hadoop有高可靠,高扩展,高效性,高容错等优点。Hadoop 框架最核心的设计就是HDFS和MapR ...
分类:
其他好文 时间:
2019-09-25 12:47:34
阅读次数:
126
1、基础配置 #配置主机名hostnamectl set-hostname {master, node1, node2} #配置hostscat <<EOF >> /etc/hosts192.168.2.124 master192.168.2.125 node1192.168.2.126 node2 ...
分类:
其他好文 时间:
2019-09-22 19:20:17
阅读次数:
97
hadoop 分布式计算框架。 common // hdfs //存储 mapreduce //MR,编程模型. yarn //资源调度. 集群部署 1.standard alone/local nothing. 2.伪分布式 一台机器. NN //目录 DN //DataNode,block(12 ...
分类:
其他好文 时间:
2019-09-16 23:50:45
阅读次数:
134
伪分布式环境: HA环境checkpoint机制 配置了HA的HDFS中,有active和standby namenode两个namenode节点。他们的内存中保存了一样的集群元数据信息,因为standby namenode已经将集群状态存储在内存中了,所以创建检查点checkpoint的过程只需要 ...
分类:
其他好文 时间:
2019-09-14 22:23:28
阅读次数:
122
Hbase配置 修改hbase env.sh 修改hbase site.xml 查看配置是否成功 启动hbase ...
分类:
其他好文 时间:
2019-09-13 22:52:00
阅读次数:
98
配置Flume 修改flume env.sh 修改Hbase的hbase env.sh(未出现异常可以忽略) 查看Flume配置版本 测试Flume(avro source) 修改avro.conf 启动flume agent a1 向指定文件写入日志 启动avro client 在启动的服务控制台 ...
分类:
Web程序 时间:
2019-09-13 21:43:36
阅读次数:
114
完全分布式 1.配置文件 [core-site.xml] hdfs 地址 fs.defaultFS=hdfs://s129:8020/ [hdfs-site.xml] 副本 replication=1 //伪分布 replication=3 //完全分布 [mapred-site.xml] yarn ...
分类:
其他好文 时间:
2019-09-10 01:16:56
阅读次数:
117
学习Hadoop集群环境搭建是Hadoop入门必经之路。搭建分布式集群通常有两个办法: 要么找多台机器来部署(常常找不到机器) 或者在本地开多个虚拟机(开销很大,对宿主机器性能要求高,光是安装多个虚拟机系统就得搞半天……)。 那么,问题来了! 有没有更有可行性的办法? 提到虚拟化,Docker最近很 ...
分类:
其他好文 时间:
2019-09-04 21:44:10
阅读次数:
159
1.独立模式(standalone|local) nothing! 本地文件系统。 不需要启用单独进程。 2.pesudo(伪分布模式) 等同于完全分布式,只有一个节点。 SSH: //(Socket), //public + private /server : sshd ps -Af | grep ...
分类:
其他好文 时间:
2019-09-03 22:18:44
阅读次数:
109