本篇接着讲解RDD的API，讲解那些不是很容易理解的API，同时本篇文章还将展示如何将外部的函数引入到RDD的API里使用，最后通过对RDD的API深入学习，我们还讲讲一些和RDD开发相关的scala语法。 1) aggregate(zeroValue)(seqOp,combOp) 该函数的功能和r ...
记录本人spark学习过程中相关摘要，做一下学习笔记。顺便记录部分scala语法的内容...
分类：
其他好文 时间：
2016-05-12 21:48:35
阅读次数：
203
批量梯度下降的逻辑回归可以参考这篇文章：http://blog.csdn.net/pakko/article/details/37878837 看了一些Scala语法后，打算看看MlLib的机器学习算法的并行化，那就是逻辑回归，找到package org.apache.spark.mllib.cla
分类：
其他好文 时间：
2016-03-05 23:33:26
阅读次数：
321
2016 年1月1日 王老师课堂笔记和作业笔记：王老师主要讲解了spark的发展前景，spark在未来的几十年里必将一统大数据江湖。graphx,mllib,sparkSQL（1）scala语法的基础知识，重点为函数式编程思想。（2）spark源代码查看。作业描述：移除一个数组中第一个负数后的所有负...
分类：
编程语言 时间：
2016-01-02 14:03:27
阅读次数：
205
自学Spark已经有一段时间，之前遇到了很多阻力，从Scala语法，基本概念，源码编译，环境部署，开发环境只能自己慢慢尝试，几乎是一步一个跟头。当还在痛苦的读着源码时候，发现spark的版本还在不断的升级，新的东西越来越多，让人应接不暇。偶然间发现51CTO的相关资源，希望共享给同时Spark的学习...
分类：
其他好文 时间：
2015-11-16 21:06:05
阅读次数：
256
1. 配置文件类JSON格式，符合SCALA语法规范2. :=是最常用的方法，其作用就是将key设置成expression的值，相同的key如果被多次赋值，则后面的值会覆盖掉前面的值。适用于简单类型的key，比如name,version等。3. +=，将值添加进现有值里，适用于集合类型的key，比如...
分类：
其他好文 时间：
2015-09-09 17:19:00
阅读次数：
132
一、前言Scala程序使用的是Unicode的BMP字符集（wiki：BMP字符集），就目前而言Unicode supplement字符集并不支持。这一章从scala模型和xml模型定义scala的语法分析。如果没有特别提到，默认指的是scala模型，并且规定字符是ASCII码的\u0000到\u0...
分类：
其他好文 时间：
2015-02-01 21:53:09
阅读次数：
553
??
lang
2.1. 和Java的异同
2.1.1. 语法
Java++：增加的语法
Java--：删减的语法
纯OO
静态成员
操作符重载
原生数据类型
closure
break、continue
使用trait进行mixin组合
...
分类：
其他好文 时间：
2014-10-16 15:30:12
阅读次数：
330
看惯了JAVA的语法，再看scala的语法，有的晦涩难懂。正好遇到一个介绍scala语法的文章，就直接截图留念。省的再临时抱佛脚了。
分类：
其他好文 时间：
2014-07-24 21:21:47
阅读次数：
511
前段时间看了下scala做了下笔记，为后续看spark做点准备，笔记内容见图片。...
分类：
其他好文 时间：
2014-06-01 15:35:40
阅读次数：
182
