记录安装Spark环境的过程。前提是Hadoop集群已经安装，详见：Hadoop 2.X 集群安装环境：Centos 6.4 X64 & Hadoop 2.2（三节点集群） & Spark 1.01、获取Spark源码，可以去官网下载，解压。2、编译源码。1）先安装Maven。2）进入源码目录，执行...
分类：
其他好文 时间：
2014-07-16 19:28:29
阅读次数：
180
(¦3[____]← 扫描线问题，抛物线方程为 y=a*x*x 形式，对每个点求出抛物线中轴的范围theta-delta~theta+delta，theta = atan2(y,x)，delta则用方程组可解x*x+y*y=z*z+(a*z*z)^2，tan(theta)=z/(a*z*z)，故th...
分类：
其他好文 时间：
2014-07-16 19:21:57
阅读次数：
191
[Spark亚太研究院 决战云计算大数据时代 100期公益大讲堂 互动问答]Q1：我想问，hdfs的namenode挂了，怎么处理？ 使用ZooKeeper； 使用Mesos； 使用Yarn；Q2：用python和scala区别大吗？ 就代码的风格而言是不大的； 世界上也有很多人使用python开发...
分类：
其他好文 时间：
2014-07-16 19:09:29
阅读次数：
294
源码编译我的测试环境：系统：Centos 6.4 - 64位Java：1.7.45Scala：2.10.4Hadoop：2.2.0Spark 1.0.0源码地址：http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0.tgz解压源码，在根去根目录下执行以下命...
分类：
其他好文 时间：
2014-07-16 18:01:44
阅读次数：
405
因为Spark的缘故，我们来看看另外一门语言——Scala，为什么要看这门语言呢？唉~其实你不看也没关系，只不过spark的内核就是用Scala写的，spark也提供其他语言的编程模型....看自己爱好啦~
1、下载
地址：http://www.scala-lang.org/download/2.11.1.html
下载安装即可，这没什么好说的，如果不会，那我建议你也不要做开发了，回家...
分类：
系统相关 时间：
2014-07-16 17:36:24
阅读次数：
263
本文详细总结Spark分布式集群的安装步骤，帮助想要学习Spark的技术爱好者快速搭建Spark的学习研究环境。...
分类：
其他好文 时间：
2014-07-14 17:17:25
阅读次数：
289
本来不打算写的了，但是真的是闲来无事，整天看美剧也没啥意思。这一章打算讲一下Spark on yarn的实现，1.0.0里面已经是一个stable的版本了，可是1.0.1也出来了，离1.0.0发布才一个月的时间，更新太快了，节奏跟不上啊，这里仍旧是讲1.0.0的代码，所以各位朋友也不要再问我讲的是哪...
分类：
其他好文 时间：
2014-07-13 21:43:15
阅读次数：
381
定制spark让sql更简单，上个版本的start.scala用的是HiveContext，这个是SQLContext的，不需编译。...
分类：
数据库 时间：
2014-07-13 20:44:21
阅读次数：
330
Google声称内部已经抛弃Map-reduce几年了，并在今年的Google IO大会高调发布Cloud Dataflow系统。本文介绍了在这个新框架下如何进行分布式计算，并与现有基于Hadoop的Twitter Summingbird以及Spark框架进行了对比。
分类：
其他好文 时间：
2014-07-13 20:29:26
阅读次数：
353
前面几章节谈论了企业如何利用大数据帮助企业建立精准营销模型,大家了解了"大数据"\"小数据",那么数据本身的问题解决了,今天我说一下另外一个非常重要的概念,就是"即时性"。可以说大数据最重要的意义之一是解决了营销上的“实时性”问题，在当下手机、平板多屏运作，快速处理用..
分类：
其他好文 时间：
2014-07-13 15:18:57
阅读次数：
183
