在过去几年，Apache Spark的采用以惊人的速度增加着，通常被作为MapReduce后继，可以支撑数千节点规模的集群部署。在内存中数 据处理上，Apache Spark比MapReduce更加高效已经得到广泛认识；但是当数据量远超内存容量时，我们也听到了一些机构在Spark使用 上的困扰。因此，我们与Spark社区一起，投入了大量的精力做Spark稳定性、扩展性、性能等方面的提升。既然Spa...
分类：
编程语言 时间：
2014-10-13 07:52:29
阅读次数：
214
编译 hadoop 版本的命令如下，可以直接使用 make-distribution.sh 脚本来编译，命令如下：
./make-distribution-noclean.sh --tgz -Pyarn -Phive -Phadoop-2.4 -Dhadoop.version=2.4.0
然后就在当前目前会生成一个 tgz 的文件。
如果是编译 cdh 版本的话，参考命令如下：
./mak...
分类：
其他好文 时间：
2014-10-11 15:19:35
阅读次数：
204
为了在IDEA中编写scala，今天安装配置学习了IDEA集成开发环境。IDEA确实很优秀，学会之后，用起来很顺手。关于如何搭建scala和IDEA开发环境，请看文末的参考资料。用Scala和Java实现WordCount，其中Java实现的JavaWordCount是spark自带的例子（$SPA...
分类：
编程语言 时间：
2014-10-10 23:51:34
阅读次数：
528
第四步修改配置文件slaves，如下所示：我们设置Hadoop集群中的从节点为SparkWorker1和SparkWorker2，把slaves文件的内容修改为：第五步修改配置文件core-site.xml，如下所示：把core-site.xml文件的内容修改为：上述是core-site.xml文件的最小化配置，core-site.xml各项配置可..
分类：
其他好文 时间：
2014-10-10 17:15:24
阅读次数：
210
第四步修改配置文件slaves，如下所示：
我们设置Hadoop集群中的从节点为SparkWorker1和SparkWorker2，把slaves文件的内容修改为：
第五步修改配置文件core-site.xml，如下所示：
把core-site.xml文件的内容修改为：
上述是core-site.xml文件的最小化配置，core-si...
分类：
其他好文 时间：
2014-10-10 12:26:24
阅读次数：
148
第四步修改配置文件slaves，如下所示： 我们设置Hadoop集群中的从节点为SparkWorker1和SparkWorker2，把slaves文件的内容修改为： 第五步修改配置文件core-site.xml，如下所示： 把core-site.xml文件的内容修改为...
分类：
其他好文 时间：
2014-10-10 11:56:15
阅读次数：
118
在介绍sparkSQL之前，我们首先来看看，传统的关系型数据库是怎么运行的。当我们提交了一个很简单的查询：
SELECT a1,a2,a3 FROM tableA Where condition
可以看得出来，该语句是由Projection（a1，a2，a3）、Data Source（tableA）、Filter（condition）组成，分别对应sql查询过程中的Result...
分类：
数据库 时间：
2014-10-10 10:48:14
阅读次数：
2980
把下载下来的“hadoop-2.2.0.tar.gz”拷贝到“/usr/local/hadoop/”目录下并解压：修改系统配置文件，修改~/.bashrc文件配置“HADOOP_HOME”并把“HADOOP_HOME”下的bin文件夹加入PATH中，修改完后使用source命令使配置生效。接下来在hadoop目录下按照如下命令创建文件夹：接下..
分类：
其他好文 时间：
2014-10-09 20:58:38
阅读次数：
216
【开发环境】 操作系统：Win 7旗舰版 一、IntelliJ IDEA的引入： 2013年，IntelliJ IDEA小组已经与众多业内领先的开发技术建立了非常紧密的关系：例如Android, Spring, Scala和Gradle. 这样一来，我么就能够在百舸争流中保持领先，为开发者提供最优质...
分类：
移动开发 时间：
2014-10-09 18:42:07
阅读次数：
239
项目中实现的html5断点续传。使用spark-md5.js计算文件MD5值，resumable.js和file api实现断点续传。后台使用java接收文件流，不支持html5的浏览器使用插件进行断点续传。以下是html5的demo：
分类：
Web程序 时间：
2014-10-09 17:27:28
阅读次数：
344
