转载：http://www.jobui.com/mianshiti/it/java/7148/ newInstance: 弱类型。低效率。只能调用无参构造。new: 强类型。相对高效。能调用任何public构造。newInstance()是实现IOC、反射、面对接口编程 和 依赖倒置 等技术方法的必 ...
背景 今天在使用JavaAPI来连接sqoop1.99.7的时候，遇到了个错误。 错误信息如下： 问题分析： 从报错信息上看貌似是Authentication认证的一些错误 解决方案 无意中在http://blog.csdn.net/jiacai2050/article/details/591176 ...
分类：
系统相关 时间：
2017-10-18 15:29:12
阅读次数：
248
欢迎到https://github.com/huabingood/everyDayLanguagePractise查看源码。 一.构建环境 在hadoop的安装包中的share目录中有hadoop所有你能想象到的内容。 进入安装包下的share文件夹你会看到doc和hadoop文件夹。其中doc中是 ...
分类：
编程语言 时间：
2017-10-05 00:22:04
阅读次数：
388
1. 熟练使用Java语言进行面向对象程序设计（面向对象：继承、多态、抽象）； 有良好的编程习惯（阿里开发手册 链接：http://pan.baidu.com/s/1dFEA6cT 密码：kqj4）； 熟悉常用的 JavaAPI，包括I/O(NIO)、Socket、JDBC、XML、集合框架、多线程 ...
分类：
编程语言 时间：
2017-09-29 16:42:46
阅读次数：
261
JavaAPI中所用的集合类，都是实现了Collection接口，他的一个类继承结构如下：Collection<--List<--Vector数组实现查询快、增删慢Collection<--List<--ArrayList数组实现查询快、增删慢Collection<--List<--LinkedList链表结构查询慢、增删快Collection<-..
分类：
编程语言 时间：
2017-09-22 10:04:15
阅读次数：
252
学习任何的spark技术之前，请先正确理解spark，可以参考：正确理解spark以下是用sparkRDDjavaapi实现从关系型数据库中读取数据，这里使用的是derby本地数据库，当然可以是mysql或者oracle等关系型数据库：packagecom.twq.javaapi.java7;
importorg.apache.spark.api.java.Java..
分类：
数据库 时间：
2017-09-21 09:50:49
阅读次数：
292
学习任何spark知识点之前请先正确理解spark，可以参考：正确理解spark本文详细介绍了sparkkey-value类型的rddjavaapi一、key-value类型的RDD的创建方式1、sparkContext.parallelizePairsJavaPairRDD<String,Integer>javaPairRDD=
sc.parallelizePairs(Arrays.asList(newT..
分类：
编程语言 时间：
2017-09-20 00:52:23
阅读次数：
332
学习spark任何的知识点之前，先对spark要有一个正确的理解，可以参考：正确理解spark本文对join相关的api做了一个解释SparkConfconf=newSparkConf().setAppName("appName").setMaster("local");
JavaSparkContextsc=newJavaSparkContext(conf);
JavaPairRDD<Integer,Intege..
分类：
编程语言 时间：
2017-09-20 00:43:09
阅读次数：
220
RDDjavaapi其实底层是调用了scala的api来实现的，所以我们有必要对javaapi是怎么样去调用scalaapi，我们先自己简单的实现一个scala版本和java版本的RDD和SparkContext一、简单实现scala版本的RDD和SparkContextclassRDD[T](value:Seq[T]){
//RDD的map操作
defmap[U](f:T=>U)..
分类：
编程语言 时间：
2017-09-18 11:03:03
阅读次数：
213
packagecom.twq.javaapi.java7;
importorg.apache.spark.SparkConf;
importorg.apache.spark.api.java.JavaRDD;
importorg.apache.spark.api.java.JavaSparkContext;
importorg.apache.spark.api.java.function.Function2;
importorg.apache.spark.api.java.function.VoidFunc..
分类：
编程语言 时间：
2017-09-18 10:58:10
阅读次数：
190
