Spark对很多种文件格式的读取和保存方式都很简单。Spark会根据文件扩展名选择对应的处理方式。 Spark支持的一些常见文件格式如下: 1、文本文件 使用文件路径作为参数调用SparkContext中的textFile()函数,就可以读取一个文本文件。也可以指定minPartitions控制分区 ...
分类:
其他好文 时间:
2017-09-17 00:38:38
阅读次数:
212
工厂模式(Factory)提供一个公用的接口来创建对象。 如有一个UI库,我们要创建某个UI组件的类型,不需要直接使用new 运算符或者通过另一个创建型构造函数创建这个组件,而是要求Factory对象创建一个新的组件。我们通知Factory需要什么样的对象(如按钮、面板),它会进行实例化,然后将它返 ...
分类:
编程语言 时间:
2017-09-16 22:07:38
阅读次数:
171
本文主要介绍四个问题: 什么是Spark Streaming实时计算? Spark实时计算原理流程是什么? Spark 2.X下一代实时计算框架Structured Streaming Spark Streaming相对其他实时计算框架该如何技术选型? 本文主要针对初学者,如果有不明白的概念可了解之 ...
分类:
其他好文 时间:
2017-09-12 16:01:23
阅读次数:
226
this.gridView.OptionsView.ColumnAutoWidth = false;this.gridView.ScrollStyle = ScrollStyleFlags.LiveHorzScroll | ScrollStyleFlags.LiveVertScroll;this.g ...
分类:
其他好文 时间:
2017-08-31 17:13:04
阅读次数:
206
1 >>> import time 2 >>> time.time() 3 1491064723.808669 4 >>> # time.time()返回当前时间的时间戳timestamp(定义为从格林威治时间1970年01月01日00时00分00秒起至现在的总秒数)的方法,无参数 5 >>> ti ...
分类:
编程语言 时间:
2017-08-17 00:31:33
阅读次数:
376
1.HTML表单用于收集用户输入。通过<form> </form>标签定义 2.<input> 元素是最重要的文本元素。 2.1.text定义常规文本输入,password定义密码字段 2.2.radio定义单选按钮输入,checkbox 定义复选框 2.3.submit定义提交按钮(提交表单) a ...
分类:
Web程序 时间:
2017-07-29 22:16:53
阅读次数:
518
Java 8允许我们给接口添加一个非抽象的方法实现,只需要使用 default关键字即可,这个特征又叫做扩展方法。这种能力是向后兼容的,以便旧接口可以使用Java 8的lambda表达式功能。 例如,List和Collection没有foreach方法 静态默认方法 ...
分类:
其他好文 时间:
2017-07-25 22:50:01
阅读次数:
496
引子: 上图是两个系统交互的情况,现在我想将对外系统的调用做成异步实现,那么就需要考虑两个问题: 主线程可以得到异步线程的结果,在得到结果之后再进行operation-4 ?主线程如何得到异步线程结果? ?主线程在得到异步线程的结果之前是否可以不等待? 可以使用Future模式来实现。 Future ...
分类:
其他好文 时间:
2017-07-15 14:46:48
阅读次数:
156
SYS@racdb1> create table siebel.S_ORG_EXT_201707101650 as select * from siebel.S_ORG_EXT where 1=2;create table siebel.S_ORG_EXT_201707101650 as selec ...
分类:
数据库 时间:
2017-07-10 19:08:49
阅读次数:
264