非阻塞的程序 应该保障的一些特性 ： 等待无关性wait-free：能确保每次的调用在有限的步数之内完成，不管其他调用的步骤有多少。杀掉几个线程 锁无关性lock-free：执行这段程序的某些线程会被延迟，但必须确保至少...
分类：
其他好文 时间：
2014-07-22 09:10:35
阅读次数：
374
1.1 Spark交互式分析
运行Spark脚本前，启动Hadoop的HDFS和YARN。Spark的shell提供
了简单方式去识别API，同样也有一个强大的工具去交互式地分析数据。两种语言有这样的交换能力，分别是Scala 和 Python。下面将演示如何使用Python来分析数据文件。
进入Spark安装主目录，输入下面的命令，python命令行模式将会启动。
./bin/pysp...
分类：
其他好文 时间：
2014-07-22 00:29:38
阅读次数：
239
?一、下载须知 软件准备： spark-1.0.0-bin-hadoop1.tgz? ?下载地址：spark1.0.0 scala-2.10.4.tgz ? ?下载下载：Scala 2.10.4 hadoop-1.2.1-bin.tar.gz ? 下载地址：hadoop-1.2.1-bin.tar.gz jdk-7u60-li...
分类：
其他好文 时间：
2014-07-21 23:30:01
阅读次数：
525
介绍略 集群安装： 一.准备工作： 1.版本介绍： 目前我们使用版本为kafka_2.9.2-0.8.1（scala-2.9.2为kafka官方推荐版本，此外还有2.8.2和2.10.2可以选择） 2.环境准备： 安装JDK6，目前使用版本为1.6，并配置JAV...
分类：
其他好文 时间：
2014-07-21 10:25:51
阅读次数：
173
这是一个神奇的语言。安装环境就够折腾了，居然还挑eclipse，最新的4.4居然不支持，要用4.3.2第一张都是些简单的概念介绍，但是通过第一张可以看出scala和其他语言的语法上存在较大的区别（当然根据我的知识范围也就是指的c#，Java）关键点：1.Scala中，我们不需要包装类型。 读到这里时...
分类：
其他好文 时间：
2014-07-19 14:16:06
阅读次数：
223
[Spark亚太研究院 决战云计算大数据时代 100期公益大讲堂 互动问答]Q1：我想问，hdfs的namenode挂了，怎么处理？ 使用ZooKeeper； 使用Mesos； 使用Yarn；Q2：用python和scala区别大吗？ 就代码的风格而言是不大的； 世界上也有很多人使用python开发...
分类：
其他好文 时间：
2014-07-16 19:09:29
阅读次数：
294
因为Spark的缘故，我们来看看另外一门语言——Scala，为什么要看这门语言呢？唉~其实你不看也没关系，只不过spark的内核就是用Scala写的，spark也提供其他语言的编程模型....看自己爱好啦~
1、下载
地址：http://www.scala-lang.org/download/2.11.1.html
下载安装即可，这没什么好说的，如果不会，那我建议你也不要做开发了，回家...
分类：
系统相关 时间：
2014-07-16 17:36:24
阅读次数：
263
Catalyst定位
其他系统如果想基于Spark做一些类sql、标准sql甚至其他查询语言的查询，需要基于Catalyst提供的解析器、执行计划树结构、逻辑执行计划的处理规则体系等类体系来实现执行计划的解析、生成、优化、映射工作。
对应上图中，主要是左侧的TreeNodelib及中间三次转化过程中涉及到的类结构都是Catalyst提供的。至于右侧物理执行计划映射生成过程，物理执行计划基于成本的优化模型，具体物理算子的执行都由系统自己实现。
Catalyst现状
在解析器方面提供的是一个简单的scala...
分类：
数据库 时间：
2014-07-16 17:34:38
阅读次数：
391
程序功能：收集顶点指向的邻居中所在地
/*
* 找出每个顶点所指向的邻居中所在的地区
*/
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
import scala.collection.mutable.Map
impor...
分类：
其他好文 时间：
2014-07-16 16:34:28
阅读次数：
299
本文详细总结Spark分布式集群的安装步骤，帮助想要学习Spark的技术爱好者快速搭建Spark的学习研究环境。...
分类：
其他好文 时间：
2014-07-14 17:17:25
阅读次数：
289
