Hadoop是什么？1.hadoop是一个由Apache基金会所开发的分布式系统基础架构。2.主要解决，海量数据的储存和海量数据的分析计算问题。3.广义来说，hadoop通常是指一个更广泛的概念 Hadoop生态圈。 Hadoop三大发行版本Hadoop三大发行版本：Apache、Cloudera、 ...
分类：
其他好文 时间：
2020-07-26 22:58:58
阅读次数：
69
4 大数据技术之Hadoop（HDFS） 第1章 HDFS概述 1.1 HDFS产出背景及定义 1.2 HDFS优缺点 1.3 HDFS组成架构 1.4 HDFS文件块大小（面试重点） 第2章 HDFS的Shell操作（开发重点） 1．基本语法 bin/hadoop fs 具体命令 OR bin/h ...
分类：
其他好文 时间：
2020-07-26 19:35:03
阅读次数：
94
1. 简要介绍 HBase 是一个开源的非关系型分布式数据库（NoSQL），它参考了谷歌的 BigTable 建模，实现的编程语言为 Java。它是 Apache 软件基金会的 Hadoop 项目的一部分，运行于 HDFS 文件系统之上，为 Hadoop 提供类似于 BigTable 规模的服务，可 ...
分类：
其他好文 时间：
2020-07-26 01:59:15
阅读次数：
89
HDFS主要解决什么问题，与IPFS有什么不同？近年，随着区块链、大数据等技术的推动，全球数据量正在无限制地扩展和增加。分布式存储的兴起与互联网的发展密不可分，互联网公司由于其大数据、轻资产的特点，通常使用大规模分布式存储系统。与传统的高端服务器、高端存储器和高端处理器不同的是，互联网公司的分布式存储系统由数量众多的、低成本和高性价比的普通PC服务器通过网络连接而成。由于互联网的业务发展迅猛，使得
分类：
其他好文 时间：
2020-07-23 22:53:39
阅读次数：
109
#source的名字 agent.sources = kafkaSource # channels的名字，建议按照type来命名 agent.channels = memoryChannel # sink的名字，建议按照目标来命名 agent.sinks = hdfsSink # 指定source使 ...
分类：
Web程序 时间：
2020-07-23 22:28:11
阅读次数：
105
1.-help : 输出这个命令的相关参数用法 hadoop fs -help rm (删除的相关用法) 2.-ls : 显示目录信息 hadoop fs -ls / 递归查看 hadoop fs -ls -R / 3.-mkdir: 在hdfs上创建目录 hadoop fs -mkdir -p / ...
分类：
其他好文 时间：
2020-07-22 21:02:50
阅读次数：
82
Checkpoint机制 NameNode负责管理元数据，元数据存在内存中，但在磁盘上有元数据镜像文件FSimage和操作日志文件edits 内存中的元数据和磁盘镜像文件有状态差，状态差体现在操作日志文件中 SecondaryNameNode会定期将NameNode上的操作日志文件下载到本地，跟上一 ...
分类：
其他好文 时间：
2020-07-22 01:46:07
阅读次数：
87
Hadoop - hdfs dfs常用命令的使用 用法 1，-mkdir 创建目录Usage：hdfs dfs -mkdir [-p] < paths>选项：-p很像Unix mkdir -p，沿路径创建父目录。 2，-ls 查看目录下内容，包括文件名，权限，所有者，大小和修改时间Usage：hdf ...
分类：
其他好文 时间：
2020-07-21 21:48:33
阅读次数：
80
1 HA 概述 1）所谓 HA（High Available），即高可用（7*24 小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA 机制： HDFS 的 HA 和 YARN 的 HA。 3）Hadoop2.0 之前，在 HDFS 集群中 Name ...
分类：
其他好文 时间：
2020-07-21 13:55:58
阅读次数：
69
jdk的安装 上传jdk的安装包到linux中 解压、更名 [root@qianfeng01 software]# tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local/ [root@qianfeng01 software]# cd /usr/loca ...
分类：
其他好文 时间：
2020-07-19 17:54:49
阅读次数：
72
