一、基础 https://zhuanlan.zhihu.com/p/76905282 1、读取 2、查看 - head 3、形状 - shape 4、查看索引 index 5、查看列的全部名称 columns 6、排序 https://blog.csdn.net/MsSpark/article/de ...
分类：
其他好文 时间：
2020-04-14 12:26:27
阅读次数：
59
[TOC] 我们都知道python上的一款可视化工具matplotlib,而前些阵子做一个Spark项目的时候用到了百度开源的一个可视化JS工具 Echarts，可视化类型非常多，但是得通过导入js库在Java Web项目上运行，平时用Python比较多，于是就在想有没有Python与Echarts ...
分类：
其他好文 时间：
2020-04-13 12:21:26
阅读次数：
118
区别： 1、map是对rdd中每一个元素进行操作 2、mapPartitions是对rdd中每个partition的迭代器进行操作 mapPartitions优点： 1、若是普通map，比如一个partition中有一万条数据，那么function要执行一万次，而使用mapPartions，一个ta ...
分类：
移动开发 时间：
2020-04-12 20:49:23
阅读次数：
80
ylbtech-Code-Helper：OracleHelper.cs 1.返回顶部 1、 using System; using System.Configuration; using System.Data; using System.Data.OracleClient; using Syste ...
分类：
数据库 时间：
2020-04-12 18:37:17
阅读次数：
68
http://songkun.me/2018/07/12/2018-07-12-adt-in-haskell-and-scala/ 函数式编程接触久了以后，我们会发现很多 FP 语言（这里指静态 FP 语言）具有不少类似的语言特性，这非常自然，因为语言特性就那么多，好用、实用的特性更少，这一方面造成 ...
分类：
其他好文 时间：
2020-04-12 16:54:27
阅读次数：
96
kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的、多副本的，基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/ngin ...
分类：
其他好文 时间：
2020-04-12 16:38:30
阅读次数：
65
模式匹配，类似于java中的switch case 语法，即对一个值进行条件判断，然后针对某种条件，针对不同的处理 但是scala的模式匹配的功能比java的switch case语法的功能要强大很多，java的switch case语法只能对值进行匹配，但是scala的模式匹配除了可以对值进行匹配 ...
分类：
其他好文 时间：
2020-04-12 07:41:07
阅读次数：
72
1. Transformations 1.1 map(fun) 操作 map操作需要传入一个函数当做参数, 主要作用是，对DStream对象a，将func函数作用到a中的每一个元素上并生成新的元素，得到的DStream对象b中包含这些新的元素。 val conf = new SparkConf(). ...
分类：
其他好文 时间：
2020-04-10 12:21:06
阅读次数：
87
简介ApacheMaven是一个项目管理及构建工具，主要用于Java项目的构建，Maven还可以用于构建和管理以C＃，Ruby，Scala和其他语言编写的项目。Maven解决了构建软件那几方面问题：编译构建传统的项目没有使用Maven大部分情况是由IDE对编写代码进行自动编译，将JAVA文件编译成CLASS之后，由研发对bin目录下的CLASS进行打包部署。而Maven通过插件进行构建，并自动打包
分类：
其他好文 时间：
2020-04-10 00:46:49
阅读次数：
81
共性： 1、都是spark平台下的分布式弹性数据集 2、都有惰性机制，创建、转换如map操作时不会立即执行，遇到foreach等Action算子时才开始运算。 3、都会自动缓存计算 4、都有partition概念 区别： 1、RDD不支持sparkSQL操作 2、DF每一行类型固定为Row，只有通过 ...
分类：
其他好文 时间：
2020-04-08 21:03:30
阅读次数：
292
