HDFS概述 HDFS（Hadoop Distributed File System）是 Apache Hadoop 项目的一个子项目. Hadoop 非常 适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存 储文件, 并且提供统一的访问接 ...
分类：
其他好文 时间：
2020-09-08 20:40:45
阅读次数：
34
一.环境介绍1.centos7.6vmware虚拟机主节点190.168.3.250slave190.168.3.251slave190.168.3.2522.每个节点配置好hosts解析3.下载好软件https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.htmlhadoop-3.
分类：
其他好文 时间：
2020-09-07 19:16:59
阅读次数：
68
1 Sqoop概述 传统的应用程序管理系统，即应用程序与使用RDBMS的关系数据库的交互，是产生大数据的来源之一。由RDBMS生成的这种大数据存储在关系数据库结构中的关系数据库服务器中。 当大数据存储和Hadoop生态系统的MapReduce，Hive，HBase，Cassandra，Pig等分析器 ...
分类：
其他好文 时间：
2020-09-03 16:44:55
阅读次数：
40
Block是文件块，HDFS中是以Block为单位进行文件的管理的，一个文件可能有多个块，每个块默认是3个副本，这些块分别存储在不同机器上。块与文件之前的映射关系会定时上报Namenode。HDFS中一个块的默认大小是64M，其大小由参数dfs.block.size控制。这里面先引申几个问题出来： ...
分类：
其他好文 时间：
2020-09-03 16:43:21
阅读次数：
40
NoSQL 简介 NoSQL(NoSQL = Not Only SQL )，意即"不仅仅是SQL"。 在现代的计算系统上每天网络上都会产生庞大的数据量。 这些数据有很大一部分是由关系数据库管理系统（RDBMS）来处理。 1970年 E.F.Codd's提出的关系模型的论文 "A relational ...
分类：
数据库 时间：
2020-08-28 14:28:59
阅读次数：
66
服役新的节点 1、首先克隆一个新的虚拟机，里面的hadoop等环境都配好了 之后修改ip通过 root进行登录，在原本好的虚拟机上进行分发操作 之后再发java 发环境变量 在新的虚拟机上进行： 这是重新运行环境变量 之后进入hadoop删除data和logs让他变成一个全新的机器 就会发现 dat ...
分类：
其他好文 时间：
2020-08-19 19:07:03
阅读次数：
65
####首先保证Node891或Node811等版本装成功了###### /opt/bigdata/elk/node891 ################ 修改目录权限 #################### [root@vwmaster hadoop]# chown -R root:root ...
分类：
其他好文 时间：
2020-08-17 17:45:14
阅读次数：
70
本文会对HBase的基本原理进行剖析，通过本文你可以了解到：CAP理论NoSQL出现的原因HBase的特点及使用场景HBase的数据模型和基本原理客户端API的基本使用易混淆知识点面试总结温馨提示:本文内容较长，如果觉得有用，建议收藏。另外记得分享、点赞、在看，素质三连哦！从BigTable说起HBase是在谷歌BigTable的基础之上进行开源实现的，是一个高可靠、高性能、面向列、可伸缩的分布式
分类：
其他好文 时间：
2020-08-13 22:24:32
阅读次数：
108
一、hdfs概述 介绍： 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统 。HDFS（Hadoop Distributed File System）是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数 ...
分类：
其他好文 时间：
2020-08-13 12:16:47
阅读次数：
60
一、Hadoop集群安装 1. 环境准备 （1） 准备三台机器：hadoop0(192.168.11.10)、hadoop1(192.168.11.11)、hadoop2(192.168.11.12) （2）每台机器安装好JAVA环境以及SSH打通（SSH免密登录；关闭防火墙） 2. 下载Hadoo ...
分类：
其他好文 时间：
2020-08-11 10:44:56
阅读次数：
79
