Scala 获取指定目录下的所有文件名（不包括目录名）...
分类：
其他好文 时间：
2015-01-05 23:30:44
阅读次数：
648
1、什么是Spark？ Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MadReduce所具有的优点；但不同于MapReduce的是Job中间输出的结果可以....
分类：
其他好文 时间：
2015-01-05 18:11:16
阅读次数：
323
RDD（Resilient Distributed DataSet)弹性分布式数据集，是Spark的核心数据结构。
DSM（Distributed Shared Memory）分布式共享内存，它是一种通用的内存数据抽象。在DSM中，应用可以向全局地址空间的任意位置进行读写操作。
RDD与DSM主要区别在于，不仅可以通过批量转换创建（即“写”）RDD，还可以对任意内存位置对写。RDD限制应用执行...
分类：
其他好文 时间：
2015-01-05 13:09:07
阅读次数：
188
在Spark 1.2.0中，Spark Core的一个重要的升级就是将默认的Hash Based Shuffle换成了Sort Based Shuffle，即spark.shuffle.manager 从hash换成了sort，对应的实现类分别是org.apache.spark.shuffle.hash.HashShuffleManager和org.apache.spark.shuffle.sort.SortShuffleManager。
那么Sort BasedShuffle“取代”Hash BasedS...
分类：
其他好文 时间：
2015-01-05 08:17:15
阅读次数：
210
1 var x = 0 2 3 def IncreaseOne(): Int = { 4 x += 1 5 x 6 } 7 8 def IncreaseOne() = { 9 x += 110 x11 }12 13 def IncreaseOne = {14 x += 11...
分类：
其他好文 时间：
2015-01-04 22:38:35
阅读次数：
295
下载JDK:http://www.oracle.com/technetwork/java/javase/downloads/index.html我的电脑是win764位，选择jdk-8u25-windows-x64.exe下载ScalaAPI：http://www.scala-lang.org/download/下载ScalaIDE(Eclipse版本):http://scala-ide.org/download/sdk.html环境变量设置：CLASSPAT..
分类：
其他好文 时间：
2015-01-04 19:38:42
阅读次数：
183
import scala.io.Source def widthOfLength(s: String) = s.length.toString.length//计算字符串长度的位数，比如长度为：136，则位数为：3（三位数）
if (args.length > 0) { val lines = So...
分类：
其他好文 时间：
2015-01-04 18:46:49
阅读次数：
179
1、下载安装包官网：http://www.postgresql.org/download/ 按自己需求，下载安装包，我下载的windows版32位的。http://get.enterprisedb.com/postgresql/postgresql-9.4.0-1-windows.exe2、安装执行...
分类：
数据库 时间：
2015-01-04 16:58:49
阅读次数：
264
Scala有两种变量，val和var。val类似于Java的final变量，一旦初始化了，就不能再赋值了。var如同Java中的非final变量，可以在生命周期内被多次赋值。
分类：
其他好文 时间：
2015-01-04 16:42:21
阅读次数：
106
从一台服务器负责内容到另一台服务器： scp jdk-6u37-linux-x64.bin spark@10.126.45.56:/home/spark/opt
tar压缩和解压文件: 压缩 tar -cvf java.tar.gz java/ 解压: tar -xvf java.tar.gz
配置java环境变量:
去各种地方下载 jdk程序包 ：jdk-6u3...
分类：
系统相关 时间：
2015-01-04 15:20:05
阅读次数：
250
