在2014年6月30日到7月2日举行的SparkSummit是整个云计算大数据领域的BigEvent，在会议上DataBricks公司提出了构建开放的Cloud平台，而且宣布该平台完全基于Spark，该平台功能类似于EC2，但比EC2更快、更灵活、更易用。构建一个开发的云服务平台，需要存储技术、计算...
分类：
其他好文 时间：
2014-12-23 06:41:21
阅读次数：
141
Hadoop是云计算的事实标准软件框架，是云计算理念、机制和商业化的具体实现，是整个云计算技术学习中公认的核心和最具有价值内容。Yarn是目前公认的最佳的分布式集群资源管理框架；Mahout是目前数据挖掘领域的王者；工业和信息化部电信研究院于2014年5月发布的“大数据白皮书”中指出：“2012年美...
分类：
其他好文 时间：
2014-12-23 06:40:35
阅读次数：
183
课程介绍本课程是世界上第一Spark企业级最佳实践课程，课程包含：Spark的架构设计；Spark编程模型；Spark内核框架源码剖析；Spark的广播变量与累加器；Shark的原理和使用；Spark的机器学习；Spark的图计算GraphX；SparkSQL；Spark实时流处理；Spark程序的...
分类：
其他好文 时间：
2014-12-23 06:40:31
阅读次数：
216
课程介绍2014年5月30日发布了Spark1.0.0版本，而本课程是世界上第一个Spark1.0.0企业级实践课程，课程包含Spark的架构设计、Spark编程模型、Spark内核框架源码剖析、Spark的广播变量与累加器、Shark的原理和使用、Spark的机器学习、Spark的图计算Graph...
分类：
其他好文 时间：
2014-12-23 06:40:01
阅读次数：
244
Spark是当今大数据领域最活跃最热门的高效的大数据通用计算平台，基于RDD，Spark成功的构建起了一体化、多元化的大数据处理体系，在“OneStacktorulethemall”思想的引领下，Spark成功的使用SparkSQL、SparkStreaming、MLLib、GraphX近乎完美的解...
分类：
其他好文 时间：
2014-12-23 06:39:55
阅读次数：
217
Scala是一门以JVM为目标运行环境并将面向对象和函数式编程语言的最佳特性结合在一起的编程语言,此课程是大数据框架Spark的前置课程：1，Spark框架是采用Scala语言编写的，精致而优雅。要想成为Spark高手，你就必须阅读Spark的源代码，就必须掌握Scala；2，虽然说现在的Spark...
分类：
编程语言 时间：
2014-12-23 06:39:06
阅读次数：
329
一、Spark SQL External DataSource简介 随着Spark1.2的发布，Spark SQL开始正式支持外部数据源。Spark SQL开放了一系列接入外部数据源的接口，来让开发者可以实现。 这使得Spark SQL支持了更多的类型数据源，如json, parquet, avro, csv格式。只要我们愿意，我们可以开发出任意的外部数据源来连接到Spark SQL。之前大家...
分类：
数据库 时间：
2014-12-22 09:31:10
阅读次数：
198
Spark SQL在Spark1.2中提供了External DataSource API，开发者可以根据接口来实现自己的外部数据源，如avro, csv, json, parquet等等。 在Spark SQL源代码的org/spark/sql/sources目...
分类：
数据库 时间：
2014-12-22 09:29:59
阅读次数：
608
由于天然符合互联网中很多场景的需求，图计算正受到越来越多的青睐。Spark GraphX 是作为 Spark 技术堆栈中的一员，担负起了 Spark 在图计算领域中的重任。网络上已经有很多图计算和 Spark GraphX 的概念介绍，此处就不再赘述。 本文将一篇很好的 Spark GraphX 入门文章中代码块整合为一个完整的可执行类，并加上必要注释以及执行结果，以方便有兴趣的朋友快速从 API 角度了解 Spark GraphX。...
分类：
其他好文 时间：
2014-12-20 20:57:21
阅读次数：
224
Spark 1.2.0是在1.X线的第三个版本。此版本带来了Spark的核心引擎性能和可用性方面的改进，一个重要的MLlib新API，Python的扩展ML支持，一个完全高可用的Spark流模式，等等。 GraphX已经看到主要性能和API改进，已经从alpha组件毕业。Spark 1.2代表来自60多个机构的172贡献者的1000个补丁的工作。...
分类：
数据库 时间：
2014-12-20 14:17:05
阅读次数：
304
