YARN的Shell操作与管理7.1启动YARNYARN有2个守护线程：ResourceManager、NodeManager。[hadoop@localhosthadoop-2.2.0]$sbin/yarn-daemon.shstartresourcemanager[hadoop@localhosthadoop-2.2.0]$sbin/yarn-daemon.shstartnodemanager7.2YARNWeb管理界面YARN管理地址：Resource..
分类：
其他好文 时间：
2015-04-07 19:59:25
阅读次数：
305
HDFS的Shell操作与管理6.1启动HDFSStep01：格式化NameNode[hadoop@hadoop-yarnhadoop-2.2.0]$bin/hdfsnamenode–format说明：namenode在格式化的时候会产生一个ClusterID。也可以在格式化的时候自定义指定ID：bin/hdfsnamenode–format–clusteridyarn-clusterStep02：启动Nam..
分类：
系统相关 时间：
2015-04-07 19:58:53
阅读次数：
326
1.1Hadoop简介从Hadoop官网获得Hadoop的介绍：http://hadoop.apache.org/(1)WhatIsApacheHadoop?TheApacheHadoopprojectdevelopsopen-sourcesoftwareforreliable,scalable,distributedcomputing.TheApacheHadoopsoftwarelibraryisaframeworkthatallowsforthedistributedprocess..
分类：
Web程序 时间：
2015-04-07 19:58:46
阅读次数：
183
2.1下载地址1、ApacheHadoop（100%永久开源）下载地址：-http://hadoop.apache.org/releases.html-SVN：http://svn.apache.org/repos/asf/hadoop/common/branches/2、CDH（ClouderaDistributedHadoop，100%永久开源）下载地址：-http://archive.cloudera.com/cdh4/cdh/4/（是ta..
分类：
其他好文 时间：
2015-04-07 19:58:25
阅读次数：
363
Spark是当今大数据领域最活跃最热门的高效的大数据通用计算平台，基于RDD，Spark成功的构建起了一体化、多元化的大数据处理体系，在“OneStacktorulethemall”思想的引领下，Spark成功的使用SparkSQL、SparkStreaming、MLLib、GraphX近乎完美的解...
分类：
其他好文 时间：
2014-12-23 06:41:54
阅读次数：
192
课程介绍本课程是世界上第一Spark企业级最佳实践课程，课程包含：Spark的架构设计；Spark编程模型；Spark内核框架源码剖析；Spark的广播变量与累加器；Shark的原理和使用；Spark的机器学习；Spark的图计算GraphX；SparkSQL；Spark实时流处理；Spark程序的...
分类：
其他好文 时间：
2014-12-23 06:40:31
阅读次数：
216
Spark是当今大数据领域最活跃最热门的高效的大数据通用计算平台，基于RDD，Spark成功的构建起了一体化、多元化的大数据处理体系，在“OneStacktorulethemall”思想的引领下，Spark成功的使用SparkSQL、SparkStreaming、MLLib、GraphX近乎完美的解...
分类：
其他好文 时间：
2014-12-23 06:39:55
阅读次数：
217
由于天然符合互联网中很多场景的需求，图计算正受到越来越多的青睐。Spark GraphX 是作为 Spark 技术堆栈中的一员，担负起了 Spark 在图计算领域中的重任。网络上已经有很多图计算和 Spark GraphX 的概念介绍，此处就不再赘述。 本文将一篇很好的 Spark GraphX 入门文章中代码块整合为一个完整的可执行类，并加上必要注释以及执行结果，以方便有兴趣的朋友快速从 API 角度了解 Spark GraphX。...
分类：
其他好文 时间：
2014-12-20 20:57:21
阅读次数：
224
Spark 1.2.0是在1.X线的第三个版本。此版本带来了Spark的核心引擎性能和可用性方面的改进，一个重要的MLlib新API，Python的扩展ML支持，一个完全高可用的Spark流模式，等等。 GraphX已经看到主要性能和API改进，已经从alpha组件毕业。Spark 1.2代表来自60多个机构的172贡献者的1000个补丁的工作。...
分类：
数据库 时间：
2014-12-20 14:17:05
阅读次数：
304
课程介绍本课程是世界上第一Spark企业级最佳实践课程，课程包含：Spark的架构设计；Spark编程模型；Spark内核框架源码剖析；Spark的广播变量与累加器；Shark的原理和使用；Spark的机器学习；Spark的图计算GraphX；SparkSQL；Spark实时流处理；Spark程序的...
分类：
其他好文 时间：
2014-12-20 02:09:20
阅读次数：
227
