大数据特征（5V） Velocity（快速的数据流转） Veracity（精准可信赖的大数据） Variety（多样的数据类型） Volume（海量的数据规模） Value（数据价值密度相对较低） 大数据架构 HDFS服务功能 NameNode NameNode是主节点，存储文件的元数据，如文件名， ...
分类：
其他好文 时间：
2019-10-21 16:21:39
阅读次数：
104
[TOC]一、fsimage和edits文件1、基本概念txid：namenode对每个操作事件（增删改操作）都给了一个唯一的id标识，称为txid，一般是从0开始自增，每多一个操作，txid就自增1。fsimage：是namenode在内存中的元数据在本地磁盘的一个镜像文件，但是通常情况fsimage并没有包含自新的操作事件，所以本质上和内存中元数据还是有差距的。这里记录的不是操作日志，其中包含
分类：
其他好文 时间：
2019-10-16 23:06:53
阅读次数：
159
一、基本api操作1、获取HDFS对象的两种方式：方式1：publicstaticFileSysteminitFileSystem1()throwsIOException{//获取配置对象Configurationconf=newConfiguration();//指定namenode地址conf.set("fs.defaultFS","hdfs://bigdata121:9000");//获取h
[TOC]一、HDFS体系组成概述这是一个分布式文件系统，适用于于一次写入多次读取的场景。包含以下角色：NameNode(nn)：存储文件的元数据，如文件名、文件目录结构，文件属性等，以及每个文件的块列表和块所在的DataNode等。以及响应客户端对hdfs的读写操作,如创建目录、上传文件等。还有保存读写日志。DataNode(dn)：在本地文件系统中存储文件块数据，以及块数据的校验和Second
分类：
其他好文 时间：
2019-10-14 13:04:16
阅读次数：
120
hadoop是什么？ hadoop是一个由Apache基金会所开发的分布式系统基础架构，hdfs分布式文件存储、MapReduce并行计算。主要是用来解决海量数据的存储和海量数据的分析计算问题，这是狭义上的hadoop。广义上来讲，hadoop通常指的是一个更广泛的概念 hadoop生态圈 hado ...
分类：
其他好文 时间：
2019-10-05 20:12:34
阅读次数：
220
这个很简单的哇~ 格式化namenode之后就会给namenode的ClusterId重新生成，导致与datanode中的ClusterId不一致而无法启动datanode 解决方法： 进入hadoop/dfs/data/current 找到version文件 进入hadoop/dfs/name/c ...
分类：
其他好文 时间：
2019-10-05 18:38:36
阅读次数：
75
海量数据处理 分而治之 核心思想： 把数据分发到多个节点 移动计算到数据附近 计算节点进行本地数据处理 优选顺序，次之随机读 一、HDFS概述 修改，先删除，再重新生成 1.架构 namenode维护着HDFS中存储的文件的元数据，以及每个文件块的列表，以及块所在datanode的信息。nameno ...
分类：
其他好文 时间：
2019-09-22 16:41:19
阅读次数：
92
1、什么是分库分表？ 在同一个系统（项目）中，把一张数据比较多的表放到不同的集群节点上， 这种模式称之为分库分表。 2、需求 使用mycat实现分库分表（HDFS:namenode datanode secondarynamdenode） 在整个mycat中也会使用到namenode和datanod ...
分类：
其他好文 时间：
2019-09-22 01:42:23
阅读次数：
81
如标题，最近我由于想初始化以下hadoop集群，之后却发现启动集群后所有的DataNode都消失了。 问题查找： 由于时所有的DataNode都出了问题，于是我翻找了以下DataNode的日志（默认在安装下的logs文件里）： 看出来可能是因为namenode的clusterID与datanode的 ...
分类：
其他好文 时间：
2019-09-21 23:17:49
阅读次数：
106
1.root账号先在namenode节点上配置一个定时任务，将fsimage定时传到其他客户机上进行操作 whereis hadoop命令确定安装目录，然后去配置文件找到namenode节点（data-93 emr-header-1） 0 1 * * * sh /root/fsimage.sh 每晚 ...
分类：
其他好文 时间：
2019-09-20 18:51:12
阅读次数：
96
