1.hadoop1.x和hadoop2.x区别 2.组件介绍 HDFS架构概述1)NameNode(nn): 存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表和块所在的DataNode等.2)DataNode(dn): 在本地文件系统存储文件块数 ...
分类：
其他好文 时间：
2019-09-13 15:50:23
阅读次数：
112
1.准备Linux环境 1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 -> apply -> ok 回到window ...
分类：
其他好文 时间：
2019-09-03 11:29:20
阅读次数：
65
大数据学习路线分享Hadoop阶段的高可用配置，什么是Hadoop的HA机制 Ha机制即Hadoop的高可用（7*24小时不中断服务） 正式引入HA机制是从hadoop2.0开始，之前的版本中没有HA机制 hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HAHDFS的HA机制详解HDFS的HA主要是通过双namenode协调工作实现双namenode协调
分类：
其他好文 时间：
2019-08-28 23:57:40
阅读次数：
186
三、 Spark集群安装 3.1 下载spark安装包 下载地址spark官网：http://spark.apache.org/downloads.html 这里我们使用 spark-2.1.3-bin-hadoop2.7版本. 3.2 规划安装目录 /export/servers 3.3 解压安装 ...
分类：
其他好文 时间：
2019-08-26 20:47:28
阅读次数：
106
HBase的配置 修改配置hue.ini的配置文件 [hbase] hbase_clusters=(Cluster|node1:9090) hbase_conf_dir=/usr/hbase-0.98.12.1-hadoop2/conf Cluster Hue展现的名字 node1:9090 hba ...
分类：
其他好文 时间：
2019-08-25 14:04:36
阅读次数：
77
一、HDFS中的block、packet、chunk 1.Block 在将文件上传到hdfs之间需要分块，这个块就是block，默认为128MB（hadoop2.X），当然可以更改。通过修改core-default.xml文件修改这个值，它是最大的一个单位。 2.Packet Packet是第二大的 ...
分类：
其他好文 时间：
2019-08-23 16:18:07
阅读次数：
73
``` 解压和重命名文件 tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz mkdir /opt/spark mv spark-2.2.0-bin-hadoop2.7 /opt/spark/spark2.2 ``` ``` 进入配置文件目录 cd /opt/spark/... ...
分类：
其他好文 时间：
2019-08-17 12:37:27
阅读次数：
79
D:\Develop tools\spark-2.2.0-bin-hadoop2.7\bin>pyspark2.cmd 'tools\spark-2.2.0-bin-hadoop2.7\bin\..\jars""\' 不是内部或外部命令，也不是可运行的程序或批处理文件。Failed to find ...
分类：
编程语言 时间：
2019-07-31 12:41:52
阅读次数：
770
最近再看zookeeper，有人提到xsync同步配置文件很好用，于是就想装一下，然后就去看hadoop了，看的是一个大家都知道的学习网站的hadoop视频。 视频里的教程是centos6 编译 hadoop2.6还是2.7。我不想重新装虚拟机了，就用之前玩python装好的ubuntu14.接着就 ...
分类：
系统相关 时间：
2019-07-31 12:40:04
阅读次数：
122
