一、数据规模 二、集群处理数据的吞吐量 2.1 hdfs的读写测试 Hadoop自带一个测试用的jar包,可以运行它来得知集群处理数据的性能如何 hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-c ...
分类:
其他好文 时间:
2020-03-29 12:35:17
阅读次数:
225
前言 准备: 7Zip下载:压缩工具,支持*.tar.gz格式的压缩文件解压 Hadoop下载:http://archive.apache.org/dist/hadoop/core/,笔者选择3.0.0版本下载,官网下载的网速如同断网。。。 winutils下载:https://github.com ...
HDFS写数据的流程 HDFS shell上传文件a.txt,300M 对文件分块,默认每块128M。 shell向NameNode发送上传文件请求 NameNode检测文件系统目录树,看能否上传 NameNode向shell发送允许上传通知 shell向NameNode发送上传block1,备份为 ...
分类:
其他好文 时间:
2020-03-29 01:09:38
阅读次数:
66
(1)Hadoop1.x和2.x之间的区别 Hadoop 1.0内核主要由两个分支组成:MapReduce和HDFS,在高可用、扩展性等方面存在问题 1)HDFS存在的问题 1.NameNode单点故障,难以应用于在线场景。 2.NameNode压力过大,且内存受限,影响扩展性。 2)MapRedu ...
分类:
其他好文 时间:
2020-03-28 17:42:52
阅读次数:
69
本文参考 关于环境搭建,imooc上关于hadoop、hbase、spark等课程上有很多环境搭建的例子,但是有些并没有说明为什么选择这个的版本,我们知道这些开源的技术发展很快,所以有必要搞清楚如何对它们进行版本选择 环境 spark 2.2.0 + scala 2.11.8 + hbase1.3.... ...
分类:
其他好文 时间:
2020-03-28 13:35:54
阅读次数:
84
之前用java做Hadoop相关项目没有遇到这种问题,今天使用python操作HDFS遇到这个问题,首先是权限之类的问题,在core site.xml中配置可以访问的hosts和groups, 具体: 注意xxx是管理用户名,然而我配置之后仍然出现not allowed错误,心想如果是我连接的这个用 ...
分类:
其他好文 时间:
2020-03-28 13:19:33
阅读次数:
72
Hadoop 02 核心介绍 1. HDFS HDFS(Hadoop Distributed File System) 是一个 Apache Software Foundation 项目, 是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB ...
分类:
其他好文 时间:
2020-03-27 11:15:08
阅读次数:
64
目录 6.2 Zookeeper在大型分布式系统中的应用 6.2.1 Hadoop YARN介绍 如何解决ResourceManager单点问题,实现高可用? 6.2.3 Kafka 术语介绍 问题 Kafka与Zookeeper Broker注册管理 Topic注册管理 生产者负载均衡 消费者负载 ...
分类:
其他好文 时间:
2020-03-27 10:40:50
阅读次数:
117
其实开源版最大的问题是你用着用着出现了很多问题,但是这些问题没有前人解决过。第三方发行版的好处在于运维成本低,你不需要再去踩一遍坑,人家已经把坑填上了。
分类:
其他好文 时间:
2020-03-26 16:38:12
阅读次数:
158
首先先简单介绍下hive: Hive是一个基于Hadoop的数据仓库工具,可以将结构化的数据文件映射成一张数据表,并可以使用类似SQL的方式来对数据文件进行读写以及管理。这套Hive SQL 简称HQL。Hive的执行引擎可以是MR、Spark、Tez。 核心架构: Hive官网地址 http:// ...
分类:
其他好文 时间:
2020-03-26 01:39:24
阅读次数:
93