“发现最有正能量的网络达人”，Spark开发者大赛火热进行！2014年9月30日，2014 Spark开发者大赛在北京正式启动。本次大赛由Spark亚太研究院联合国内领先的IT技术创新与发展的互联网媒体平台51CTO传媒及国内最大的IT在线教育平台51CTO学院在亚太范围内发起。面向云计算大数据从业...
分类：
其他好文 时间：
2014-10-14 20:01:23
阅读次数：
230
2014年最热门的IT技术大赛，由Spark亚太研究院联合国内领先的IT技术创新。面向云计算大数据从业者、Spark技术爱好者及数百所高校在读学生。无论是对Spark有浓厚兴趣的初学者、或者Spark应用高手，还是Spark源码级别大牛，都可以借助本次大赛，一展才华，就Spark技术与应用实践展开交流及切磋。...
分类：
其他好文 时间：
2014-10-14 19:40:09
阅读次数：
221
spark执行任务时出现java.lang.OutOfMemoryError: GC overhead limit exceeded和java.lang.OutOfMemoryError: java heap space 最直接的解决方式就是在spark-env.sh中将下面两个参数调节的尽量大 ????...
分类：
编程语言 时间：
2014-10-14 13:47:28
阅读次数：
189
1：Spark1.0.0属性配置方式 Spark属性提供了大部分应用程序的控制项，并且可以单独为每个应用程序进行配置。 在Spark1.0.0提供了3种方式的属性配置：SparkConf方式SparkConf方式可以直接将属性值传递到SparkContext；SparkConf可以对某些通用...
分类：
其他好文 时间：
2014-10-14 00:50:57
阅读次数：
423
2014-10-13Spark亚太研究院2014年9月30日，2014 Spark开发者大赛在北京正式启动。本次大赛由Spark亚太研究院联合国内领先的IT技术创新与发展的互联网媒体平台51CTO传媒及国内最大的IT在线教育平台51CTO学院在亚太范围内发起。面向云计算大数据从业者、Spark技术爱...
分类：
其他好文 时间：
2014-10-14 00:26:37
阅读次数：
215
SparkStreaming是一个对实时数据流进行高通量、容错处理的流式处理系统，可以对多种数据源（如Kdfka、Flume、Twitter、Zero和TCP 套接字）进行类似map、reduce、join、window等复杂操作，并将结果保存到外部文件系统、数据库或应用到实时仪表盘。Spark S...
分类：
Web程序 时间：
2014-10-13 22:30:37
阅读次数：
500
Apache Spark的高性能一定程度上取决于它采用的异步并发模型（这里指server/driver端采用的模型），这与Hadoop 2.0（包括YARN和MapReduce）是一致的。Hadoop 2.0自己实现了类似Actor的异步并发模型，实现方式是epoll+状态机，而Apache Spa...
分类：
编程语言 时间：
2014-10-13 14:23:49
阅读次数：
258
在过去几年，Apache Spark的采用以惊人的速度增加着，通常被作为MapReduce后继，可以支撑数千节点规模的集群部署。在内存中数 据处理上，Apache Spark比MapReduce更加高效已经得到广泛认识；但是当数据量远超内存容量时，我们也听到了一些机构在Spark使用 上的困扰。因此，我们与Spark社区一起，投入了大量的精力做Spark稳定性、扩展性、性能等方面的提升。既然Spa...
分类：
编程语言 时间：
2014-10-13 07:52:29
阅读次数：
214
编译 hadoop 版本的命令如下，可以直接使用 make-distribution.sh 脚本来编译，命令如下：
./make-distribution-noclean.sh --tgz -Pyarn -Phive -Phadoop-2.4 -Dhadoop.version=2.4.0
然后就在当前目前会生成一个 tgz 的文件。
如果是编译 cdh 版本的话，参考命令如下：
./mak...
分类：
其他好文 时间：
2014-10-11 15:19:35
阅读次数：
204
为了在IDEA中编写scala，今天安装配置学习了IDEA集成开发环境。IDEA确实很优秀，学会之后，用起来很顺手。关于如何搭建scala和IDEA开发环境，请看文末的参考资料。用Scala和Java实现WordCount，其中Java实现的JavaWordCount是spark自带的例子（$SPA...
分类：
编程语言 时间：
2014-10-10 23:51:34
阅读次数：
528
