学习任何的spark技术之前，请先正确理解spark，可以参考：正确理解spark以下是用sparkRDDjavaapi实现从关系型数据库中读取数据，这里使用的是derby本地数据库，当然可以是mysql或者oracle等关系型数据库：packagecom.twq.javaapi.java7;
importorg.apache.spark.api.java.Java..
分类：
数据库 时间：
2017-09-21 09:50:49
阅读次数：
292
学习spark任何技术之前，请正确理解spark，可以参考：正确理解spark我们在http://7639240.blog.51cto.com/7629240/1966131中已经知道了，一个scala函数其实就是java中的一个接口，对于java8lambda而言，也是一样，一个lambda表达式就是java中的一个接口。接下来我们先看看spark..
分类：
编程语言 时间：
2017-09-21 09:44:11
阅读次数：
202
学习任何spark知识点之前请先正确理解spark，可以参考：正确理解spark本文详细介绍了sparkkey-value类型的rddjavaapi一、key-value类型的RDD的创建方式1、sparkContext.parallelizePairsJavaPairRDD<String,Integer>javaPairRDD=
sc.parallelizePairs(Arrays.asList(newT..
分类：
编程语言 时间：
2017-09-20 00:52:23
阅读次数：
332
学习spark任何的知识点之前，先对spark要有一个正确的理解，可以参考：正确理解spark本文对join相关的api做了一个解释SparkConfconf=newSparkConf().setAppName("appName").setMaster("local");
JavaSparkContextsc=newJavaSparkContext(conf);
JavaPairRDD<Integer,Intege..
分类：
编程语言 时间：
2017-09-20 00:43:09
阅读次数：
220
RDDjavaapi其实底层是调用了scala的api来实现的，所以我们有必要对javaapi是怎么样去调用scalaapi，我们先自己简单的实现一个scala版本和java版本的RDD和SparkContext一、简单实现scala版本的RDD和SparkContextclassRDD[T](value:Seq[T]){
//RDD的map操作
defmap[U](f:T=>U)..
分类：
编程语言 时间：
2017-09-18 11:03:03
阅读次数：
213
packagecom.twq.javaapi.java7;
importorg.apache.spark.SparkConf;
importorg.apache.spark.api.java.JavaRDD;
importorg.apache.spark.api.java.JavaSparkContext;
importorg.apache.spark.api.java.function.Function2;
importorg.apache.spark.api.java.function.VoidFunc..
分类：
编程语言 时间：
2017-09-18 10:58:10
阅读次数：
190
以下对RDD的三种创建方式、单类型RDD基本的transformationapi、采样Api以及pipe操作进行了javaapi方面的阐述一、RDD的三种创建方式从稳定的文件存储系统中创建RDD，比如localfileSystem或者hdfs等，如下：//从hdfs文件中创建
JavaRDD<String>textFileRDD=sc.textFile("hd..
分类：
编程语言 时间：
2017-09-18 10:53:03
阅读次数：
264
0、操作系统 centos:6 hadoop:2.5.0-cdh5.3.6 1、为什么要编译 spark 源码？ 学习spark的第一步 就应该是编译源码，后期修改和调试，扩展集成的功能模块 2、Spark 源码编译的三种形式？ a.maven 编译 # export MAVEN_OPTS="-Xm ...
分类：
其他好文 时间：
2017-09-06 00:38:49
阅读次数：
232
首先，我们明确的是访问Mongos和访问单机Mongod并没有什么区别。接下来的方法都是既可以访问mongod又可以访问Mongos的。 另外，读作java写作scala，反正大家都看得懂......大概？ 1、不带认证集群的连接方法（JAVAscala）： 首先是创建连接的方法，我们先声明一个cl ...
分类：
数据库 时间：
2017-08-23 19:14:24
阅读次数：
221
