在spark1.0中属性支持三种配置方式：1、代码在代码中构造SparkConf时指定master、appname或者key-value等val conf = new SparkConf();conf.setAppName("WordCount").setMaster(" spark://hadoo...
分类：
其他好文 时间：
2014-06-25 20:12:25
阅读次数：
286
欢迎关注我的新博客地址：http://cuipengfei.me/
Lower bound，不知道这个词的确切中文翻译是怎样的。我们直接看例子吧。
1
2
3
class Pair[T](val first: T, val second: T) {
def replaceFirst[R >: T](newFirst: R): Pair[R] ...
分类：
其他好文 时间：
2014-06-25 00:04:48
阅读次数：
381
线性回归(Linear Regression)问题属于监督学习（Supervised Learning）范畴，又称分类（Classification）或归纳学习(Inductive Learning);这类分析中训练数据集中给出的数据类标是确定的；机器学习的目标是，对于给定的一个训练数据集，通过不断的分析和学习产生一个联系属性集合和类标集合的分类函数(Classification Function)或预测函数(Prediction Function),这个函数称为分类模型(Classification Mo...
分类：
其他好文 时间：
2014-06-24 22:58:23
阅读次数：
585
Apache Hadoop的服务的部署比较繁琐，需要手工处理配置文件、下载依赖包等。Cloudera Manager以GUI的方式的管理CDH集群，提供向导式的安装步骤。由于需要对Hive,HBase,Impala,Spark进行功能测试，就采用了Cloudera Manager方式进行安装。本文讲解的是parcel安装方式。...
分类：
其他好文 时间：
2014-06-24 22:44:17
阅读次数：
501
欢迎关注我的新博客地址：http://cuipengfei.me/
实在想不到什么动词可以当做脱衣服来讲了，所以从现在开始这系列博文就叫做Desugar Scala了。除非哪天才思泉涌，又想到了新词：）
开始正文。
名字叫做unapply和unapplySeq的方法在Scala里也是有特殊含义的。
我们前面说过case class在做pattern match时很...
分类：
移动开发 时间：
2014-06-24 19:42:48
阅读次数：
265
scala 入门Eclipse环境搭建及第一个入门经典程序HelloWorld...
分类：
系统相关 时间：
2014-06-24 18:42:40
阅读次数：
270
在zed的PS端运行spark： （1）设置uboot为sd卡启动rootfs： "sdboot=if mmcinfo; then " \ "run uenvboot; " \ "echo Copying Linux from SD to RAM... && " \ ...
分类：
其他好文 时间：
2014-06-24 14:27:44
阅读次数：
497
Manifest和TypeTag是要解决什么问题？As with other JVM languages, Scala’s types are erased at compile time. This means that if you were to inspect the runtime typ...
分类：
其他好文 时间：
2014-06-24 12:49:07
阅读次数：
187
0、参考自http://tech.uc.cn/?p=2116 http://www.csdn.net/article/2013-07-08/2816149 1、Spark是一个高效的分布式计算系统。它基于MapReduce（MR）算法实现分布式计算，但Job的中间输出和结果可以保存在内存，从...
分类：
其他好文 时间：
2014-06-24 11:32:46
阅读次数：
268
欢迎关注我的新博客地址：http://cuipengfei.me/
在Scala中，名字叫做update的方法是有特殊作用的。
比如：
1
2
3
val scores = new scala.collection.mutable.HashMap[String, Int]
scores("Bob") = 100
val bobsScore =...
分类：
其他好文 时间：
2014-06-22 07:37:52
阅读次数：
282
