spark程序异常:Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs...
分类:
编程语言 时间:
2014-11-23 23:16:01
阅读次数:
396
windows下scala的eclipse开发环境 步骤: 1,下载并安装scala,最新版 Download Previous Versions | The Scala
Programming Language http://www.scala-lang.org/download/all.html...
分类:
系统相关 时间:
2014-11-23 23:12:07
阅读次数:
879
1. Scala集合学习:http://blog.csdn.net/lyrebing/article/details/203622272.scala实现kmeans算法http://www.thinksaas.cn/group/topic/93852/3. Spark之Scala学习网站http:/...
分类:
其他好文 时间:
2014-11-23 23:09:07
阅读次数:
280
RDD(Resilient Distributed Datasets)弹性分布式数据集,是在集群应用中分享数据的一种高效,通用,容错的抽象,是Spark提供的最重要的抽象的概念,它是一种有容错机制的特殊集合,可以分布在集群的节点上,以函数式编操作集合的方式,进行各种并行操作。
RDD是只读的,不可变的数据集。RDD也是容错的,假如其中一个RDD坏掉,RDD中有记录之前的依赖关系,依赖关系中记录算...
分类:
其他好文 时间:
2014-11-23 21:44:22
阅读次数:
292
默认情况下在使用“Set”或“Map”的时候,获得的都是不可变对象。如果需要的是可变版本,需要先写明引用。如果同一个源文件中既要用到可变版本,也要用到不可变版本的集合或映射,方法之一是引用包含了可变版本的包名:scala> import scala.collection.mutableimport ...
分类:
其他好文 时间:
2014-11-23 15:51:26
阅读次数:
183
1,在命令行和Scala?IDE?for?Eclipse中动手体验Scala ? Scala一门基于JVM的面向对象和函数式编程相结合的静态语言,安装和运行Scala首先需要Java虚拟环境,直接到官方网站下载和安装Java即可: http://www.o...
分类:
其他好文 时间:
2014-11-22 23:24:37
阅读次数:
500
和分布式文件系统和NoSQL数据库相比而言,spark集群的安装配置还算是比较简单的...
分类:
其他好文 时间:
2014-11-22 23:09:26
阅读次数:
287
1,在命令行和ScalaIDEforEclipse中动手体验ScalaScala一门基于JVM的面向对象和函数式编程相结合的静态语言,安装和运行Scala首先需要Java虚拟环境,直接到官方网站下载和安装Java即可:http://www.oracle.com/technetwork/java/ja...
分类:
其他好文 时间:
2014-11-22 23:02:17
阅读次数:
345
列表列表的初始化及对其首尾的访问:scala> val colors = List("red", "blue", "green")colors: List[String] = List(red, blue, green)scala> colors.headres15: String = redsca...
分类:
其他好文 时间:
2014-11-22 22:59:20
阅读次数:
270