略微了解Spark源代码的人应该都知道SparkContext，作为整个Project的程序入口，其重要性不言而喻，很多大牛也在源代码分析的文章中对其做了非常多相关的深入分析和解读。这里，结合自己前段时间的阅读体会，与大家共同讨论学习一下Spark的入口对象—天堂之门—SparkContex。Spa...
分类：
Web程序 时间：
2014-10-16 20:33:13
阅读次数：
271
import scala.collection.mutable.ListBufferimport scala.collection.immutable.{Map =>sMap};//不可变import scala.collection.mutable.{Map =>xMap};//可变object ...
分类：
其他好文 时间：
2014-10-16 20:28:13
阅读次数：
236
这几天试用了下openfire相关应用,搭建一个简单的在线咨询服务，有点类似阿里旺旺，可以web页面在线咨询，也可以加为好友在pc客户端中咨询 使用场景：企业业务咨询 1.在官网http://www.igniterealtime.org/index.j...
分类：
Web程序 时间：
2014-10-16 20:22:13
阅读次数：
427
7,在SparkWorker1和SparkWorker2上完成和SparkMaster同样的Hadoop 2.2.0操作，建议使用SCP命令把SparkMaster上安装和配置的Hadoop的各项内容拷贝到SparkWorker1和SparkWorker2上; 8,启动并验证Hadoop分布式集群 ...
分类：
其他好文 时间：
2014-10-16 18:12:13
阅读次数：
233
7,在SparkWorker1和SparkWorker2上完成和SparkMaster同样的Hadoop 2.2.0操作，建议使用SCP命令把SparkMaster上安装和配置的Hadoop的各项内容拷贝到SparkWorker1和SparkWorker2上;8,启动并验证Hadoop分布式集群第一...
分类：
其他好文 时间：
2014-10-16 17:50:52
阅读次数：
226
GridGain最近在2014年的Spark峰会上发布了Hadoop内存片内加速技术，可以为Hadoop应用带来内存片内计算的相关收益。
该技术包括两个单元：和Hadoop HDFS兼容的内存片内文件系统，以及为内存片内处理而优化的MapReduce实现。这两个单元对基于磁盘的HDFS和传统的MapReduce进行了扩展，为大数据处理情况提供了更好的性能。...
分类：
其他好文 时间：
2014-10-16 17:15:42
阅读次数：
235
7,在SparkWorker1和SparkWorker2上完成和SparkMaster同样的Hadoop 2.2.0操作，建议使用SCP命令把SparkMaster上安装和配置的Hadoop的各项内容拷贝到SparkWorker1和SparkWorker2上;
8,启动并验证Hadoop分布式集群
第一步：格式化hdfs文件系统：
第二步：进入...
分类：
其他好文 时间：
2014-10-16 16:28:02
阅读次数：
269
??
lang
2.1. 和Java的异同
2.1.1. 语法
Java++：增加的语法
Java--：删减的语法
纯OO
静态成员
操作符重载
原生数据类型
closure
break、continue
使用trait进行mixin组合
...
分类：
其他好文 时间：
2014-10-16 15:30:12
阅读次数：
330
??
3. FP
3.1. 函数
函数的地位和一般的变量是同等的，可以作为函数的参数，可以作为返回值。
传入函数的任何输入是只读的，比如一个字符串，不会被改变，只会返回一个新的字符串。
Java里面的一个问题就是很多只用到一次的private方法，没有和使用它的方法紧密结合；Scala可以在函数里面定义函数，很好地解决了这个问题。
3.1.1....
分类：
其他好文 时间：
2014-10-16 15:13:12
阅读次数：
410
??
4. OOP
4.1. 类class
4.1.1. 定义
例子1：
class User {
var name = "anonymous"
var age:Int = _
val country = "china"
def email = name + "@mail"
}
使用：
val u =...
分类：
其他好文 时间：
2014-10-16 14:56:28
阅读次数：
259
