鉴于目前大数据Hadoop 2.x被企业广泛使用，在实际的企业项目中需要更加深入的灵活运用,并且Hadoop 2.x是大数据平台处理 的框架的基石，尤其在海量数据的存储HDFS、分布式资源管理和任务调度YARN及分布式计算框架MapReduce。然而当前众多书籍和 视频教程资料中,没有一套完整的、深 ...
分类：
其他好文 时间：
2016-04-12 07:09:48
阅读次数：
373
课程大纲及内容简介: 每节课约35分钟，共不下40讲 第一章（11讲） ·分布式和传统单机模式 ·Hadoop背景和工作原理 ·Mapreduce工作原理剖析 ·第二代MR--YARN原理剖析 ·Cloudera Manager 4.1.2安装 ·Cloudera Hadoop 4.1.2 安装 · ...
分类：
其他好文 时间：
2016-04-12 07:06:02
阅读次数：
130
Hadoop的前景 随着云计算、大数据迅速发展，亟需用hadoop解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东等底层都应用hadoop。越来越多的企 业急需引入hadoop技术人才。由于掌握Hadoop技术的开发人员并不多，直接导致了这几年hadoop技术的薪水远高于JavaEE及 Andr ...
分类：
其他好文 时间：
2016-04-11 23:57:12
阅读次数：
175
随着云计算、大数据迅速发展，亟需用hadoop解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东等底层都应用hadoop。越来越多的企 业急需引入hadoop技术人才。由于掌握Hadoop技术的开发人员并不多，直接导致了这几年hadoop技术的薪水远高于JavaEE及 Android程序员。 Ha ...
分类：
其他好文 时间：
2016-04-11 23:53:19
阅读次数：
277
随着互联网、移动互联网和物联网的发展，我们已经切实地迎来了一个大数据 的时代。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合，对大数据的分析已经成为一个非常重要且紧迫的需求。目前对大数据的分析工具，首选的是Hadoop/Yarn平台，但目前对大数据的实时分析工具，业界 ...
分类：
其他好文 时间：
2016-04-11 22:08:26
阅读次数：
263
转自：http://blog.csdn.net/matthewei6/article/details/50615816 大数据(一) - hadoop生态系统及版本演化 大数据(二) - HDFS 大数据(三) - YARN 大数据(四) - MapReduce 大数据(五) - HBase 大数据 ...
分类：
其他好文 时间：
2016-04-11 20:20:22
阅读次数：
156
Spark是一个通用的大规模数据快速处理引擎。可以简单理解为Spark就是一个大数据分布式处理框架。基于内存计算的Spark的计算速度要比Hadoop的MapReduce快上50倍以上，基于磁盘的计算速度也快于10倍以上。Spark运行在Hadoop第二代的yarn集群管理之上，可以轻松读取Hado ...
分类：
其他好文 时间：
2016-04-10 06:44:07
阅读次数：
236
Spark简介 spark 可以很容易和yarn结合，直接调用HDFS、Hbase上面的数据，和hadoop结合。配置很容易。 spark发展迅猛，框架比hadoop更加灵活实用。减少了延时处理，提高性能效率实用灵活性。也可以与hadoop切实相互结合。 spark核心部分分为RDD。Spark S ...
分类：
其他好文 时间：
2016-04-09 23:25:02
阅读次数：
361
安装JDK安装Hadoop配置环境变量配置core-site.xml配置hdfs-site.xml配置mapred-site.xml配置yarn-site.xml配置slaves安装JDKcd/usr/local/srcwgethttp://download.oracle.com/otn-pub/java/jdk/8u73-b02/jdk-8u73-linux-x64.tar.gz?AuthParam=1458008151_64a44ef61864b914ee2cb..
分类：
其他好文 时间：
2016-04-08 15:35:55
阅读次数：
175
客户端：提交MapReduce job YARN resouce manager,协调集群计算资源分配 YARN node manager,产生并且监控在集群中的机器上的containers MapReduce application master,协调MapReduce job中运行的task H ...
分类：
其他好文 时间：
2016-04-08 10:11:40
阅读次数：
169
