课时1:培训须知第1 章 : Hadoop生态系统以及版本演化 课时2:课程视频 66:53 课时3:学习资料 课时4:第一讲 课后作业第2 章 : HDFS 2.0应用场景、原理、基本架构及使用方法 课时5:课程视频1-HDFS 2.0应用场景、原理、基本架构及使用方法 59:11 课时6:课程视 ...
分类:
其他好文 时间:
2017-07-20 15:16:55
阅读次数:
166
1、什么是大数据?什么是云计算?什么是hadoop? 大数据现在很火,到底什么是大数据,多大的数据才算大,一般而言对于TB级以上的数据我们成为大数据,对于这些数据它的价值在哪?大数据的价值就是我们大量的数据中分析出有价值的信息,来判断一些行为等等信息。而这些大数据存储在哪?如何进行分析?这就衍生了H ...
分类:
其他好文 时间:
2017-07-12 23:25:38
阅读次数:
248
第一次在cnblogs上发表文章,效果肯定不会好,希望各位多包涵。 编写这个文档的背景是月中的时候,部门老大希望我们能够抽时间学习一下Hadoop大数据方面的技术;给我的学习内容是通过Ambari安装Hadoop集群。通过一周左右的学习和实践,整理出现在这篇安装心得。 安装默认使用Root用户,避免 ...
分类:
其他好文 时间:
2017-05-27 15:26:42
阅读次数:
533
Hadoop的编程可以是在Linux环境或Winows环境中,在此以Windows环境为示例,以Eclipse工具为主(也可以用IDEA)。网上也有很多开发的文章,在此也参考他们的内容只作简单的介绍和要点总结。Hadoop是一个强大的并行框架,它允许任务在其分布式集群上并行处理。但是编写、调试Hado..
分类:
其他好文 时间:
2017-05-17 15:11:17
阅读次数:
265
Hadoop的编程可以是在Linux环境或Winows环境中,在此以Windows环境为示例,以Eclipse工具为主(也可以用IDEA)。网上也有很多开发的文章,在此也参考他们的内容只作简单的介绍和要点总结。 Hadoop是一个强大的并行框架,它允许任务在其分布式集群上并行处理。但是编写、调试Ha ...
分类:
其他好文 时间:
2017-05-17 10:14:15
阅读次数:
265
以下错误只针对自己在hadoop使用过程中遇到的错误,仅供参考! 《1》进入了安全模式,需要退出 《2》slave节点的nodemanager启动错误,查看~/hadoop-2.5.2/logs/yarn-zjl-nodemanager-slave.log 如果错误原因是不能连接至master,查看 ...
分类:
其他好文 时间:
2017-05-11 11:36:01
阅读次数:
156
经过一系列的前期环境准备,现在可以开始Hadoop的安装了,在这里去apache官网下载2.7.3的版本 http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz 不需要下载最新的3.0版本 ...
分类:
其他好文 时间:
2017-05-10 09:44:28
阅读次数:
277
由于Hadoop需要运行在Linux环境中,而且是分布式的,因此个人学习只能装虚拟机,本文都以VMware Workstation为准,安装CentOS7,具体的安装此处不作过多介绍,只作需要用到的知识介绍。 VMware的安装,装好一个虚拟机后利用复制虚拟机的方式创建后面几个虚拟机,省时省力,需要 ...
分类:
其他好文 时间:
2017-05-08 10:07:15
阅读次数:
236
问题导读: 1.zookeeper在kafka的作用是什么? 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么? 3.kafka集群consumer和producer状态信息是如何保存的? 4.partitions设计的目的的根本原因是什么? 一、入门 1、简介 Kafka is a d ...
分类:
其他好文 时间:
2017-05-06 15:12:57
阅读次数:
281
大数据这个词越来越热,本人一直想学习一下,正巧最近有时间了解一下。先从hadoop入手,在此记录学习中的点滴。 什么是hadoop? What Is Apache Hadoop? The Apache? Hadoop® project develops open-source software fo ...
分类:
其他好文 时间:
2017-04-24 23:24:34
阅读次数:
403