Hadoop1.0最新稳定版本1.2.1 1.Hadoop Common 2.分布式文件系统HDFS 3.分布式并行计算框架MapReduce Hadoop2.0稳定版本2.2.0 1.Hadoop Common 2.分布式文件系统HDFS 3.分布式并行计算框架MapReduce 4.YARN H
分类：
其他好文 时间：
2016-03-20 21:17:58
阅读次数：
224
Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flu
分类：
其他好文 时间：
2016-03-20 21:14:09
阅读次数：
253
一、Hive集群安装1，安装好Hadoop，并启动HDFS和YARN。2，下载hive1.2.1http://apache.fayea.com/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gz上传文件至集群中3.安装Hiveroot@spark-master:~#ls
apache-hive-1.2.1-bin.tar.gzcorelinks-anon.txtaaa公共的模板视频图片文档下..
分类：
其他好文 时间：
2016-03-15 00:54:30
阅读次数：
527
下面是 StuQ 发布的大数据技能图谱，比较实用，供参考 大数据处理框架 Spark - RDD - Spark SQL - Spark Streaming - MLLibHadoop - HDFS (分布式文件系统) - Mapreduce（计算框架） - Yarn（资源管理平台） - Pig
分类：
其他好文 时间：
2016-03-14 09:28:47
阅读次数：
173
This is a guide to migrating from Apache MapReduce 1 (MRv1) to the Next Generation MapReduce (MRv2 or YARN). See the following sections for more infor
分类：
其他好文 时间：
2016-03-12 10:29:27
阅读次数：
268
理想的世界，一个YARN应用请求将会立刻得到授予。而现实世界，资源是受限制的，在一个忙碌的集群中，一个应用经常需要等待他请求的资源。YARN调度负责这个事情，分配资源给应用通过一些方式定义。调度是一个困难的问题也没有所谓最好的方法。 YARN有三种调度，FIFO,Capacity,Fair Sche
分类：
其他好文 时间：
2016-03-04 16:06:42
阅读次数：
124
导读：本文介绍百度基于Spark的异构分布式深度学习系统，把Spark与深度学习平台PADDLE结合起来解决PADDLE与业务逻辑间的数据通路问题，在此基础上使用GPU与FPGA异构计算提升每台机器的数据处理能力，使用YARN对异构资源做分配，支持Multi-Tenancy，让资源的使用更有效。深层...
分类：
其他好文 时间：
2016-03-04 13:02:28
阅读次数：
237
可扩展性：与jobtracker相反，每一个应用实例，这里可以说是一个MapReduce job有一个转有的应用管理，在应用执行期间运行。这个模型更靠近原始的google论文。 高可用:高可用（High availability)通常是在服务进程失败后，另一个守护进程(daemon)能够复制状态并且
分类：
其他好文 时间：
2016-03-03 19:04:37
阅读次数：
124
很多朋友在刚开始搭建和使用 YARN 集群的时候，很容易就被纷繁复杂的配置参数搞晕了：参数名称相近、新老命名掺杂、文档说明模糊 。特别是那几个关于内存的配置参数，即使看好几遍文档也不能完全弄懂含义不说，配置时一不小心就会张冠李戴，犯错误。 如果你同样遇到了上面的问题，没有关系，在这篇文章中，我就为大
分类：
其他好文 时间：
2016-03-03 14:27:47
阅读次数：
218
Hadoop框架自身集成了很多第三方的JAR包库。Hadoop框架自身启动或者在运行用户的MapReduce等应用程序时，会优先查找Hadoop预置的JAR包。这样的话，当用户的应用程序使用的第三方库已经存在于Hadoop框架的预置目录，但是两者的版本不同时，Hadoop会优先为应用程序加载Hadoop自身..
分类：
编程语言 时间：
2016-03-02 20:21:37
阅读次数：
2351
