#!/bin/bash #队列名 根据yarn的队列提交 realtime_queue=root #提交的任务名 my_job_name="OrderQZ" spark-shell --master yarn --deploy-mode client \ --queue $realtime_queu ...
分类：
其他好文 时间：
2020-03-26 01:02:34
阅读次数：
81
Flink1.10版本支持SQLDDL的特性，本文章以从kafka消费数据，写入jdbc为例介绍整个流程。具体操作如下：1.下载flink1.10的安装包并解压：https://www.apache.org/dist/flink/flink-1.10.0/flink-1.10.0-bin-scala_2.11.tgz进入flink的lib目录，采用wget或是本地下载拷贝的方式下载依赖的conne
分类：
数据库 时间：
2020-03-25 10:31:34
阅读次数：
483
https://blog.csdn.net/meihao5/article/details/81084876?depth_1-utm_source=distribute.pc_relevant.none-task&utm_source=distribute.pc_relevant.none-task ...
分类：
其他好文 时间：
2020-03-25 01:44:18
阅读次数：
49
[toc] 一、线性代数 万事万物都可以被抽象成某些特征的组合，线性代数的本质是将具体事物抽象为数学对象，描述其静态和动态的特征。 常见概念 标量（scalar） 一个标量 a 可以是整数、实数或复数 向量（vector） 多个标量 a1,a2,?,an 按一定顺序组成一个序列。通常用一维数组表示， ...
分类：
其他好文 时间：
2020-03-24 13:22:25
阅读次数：
126
课程使用2.11.8版本 打开scala2.11.8下载页面 拉倒页面最下方，点击Source code(zip)进行下载 解压到指定文件夹这里为了避免出现问题，也是解压到不含空格和中文的目录 我这里是解压到了C盘 解压后进行环境变量配置 右键我的电脑-》属性-》高级环境设置-》环境变量 双击系统变 ...
Apache Flink 的简介 Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。此外，Flink的运行时本身也 ...
分类：
Web程序 时间：
2020-03-23 12:36:54
阅读次数：
88
1、什么是Scala Scala是一个面向对象和面向函数式的多范式编程语言，并且Scala还是基于JVM的编程语言，Scala运行于Java平台，兼容现有Java程序。 面向对象：Scala是纯面向对象的编程语言，在Scala编程的世界里 “每个值都是对象，每个符号都是方法操作”。 面向函数：函数是 ...
分类：
其他好文 时间：
2020-03-23 09:50:18
阅读次数：
54
Shuffle的中文含义是混洗，官方定义是：一种让数据重新分布以使得某些数据被放在同一分区里的一种机制。Shuffle的过程中，存在着大量的网络消耗传输数据，会在磁盘上产生大量的中间文件，在平时的工作中了解shuffle的运行机制能帮助我们写出更优秀的代码。此篇文章从shuffle的含义开始讲起，按... ...
分类：
其他好文 时间：
2020-03-22 23:52:35
阅读次数：
84
查看kafka版本 进入kafka安装目录 ... kafka/libs，看到类似kafka_2.12-2.0.0.jar这样的文件，2.12为scala版本，2.0.0是kafka版本（kafka使用了Scala进行开发）. zookeeper-server-start.sh 参照 kafka环境 ...
分类：
其他好文 时间：
2020-03-22 21:18:26
阅读次数：
86
原创/朱季谦 图数据库是一项比较前沿而逐渐热门的技术，是NoSql数据库的一种，它应用图形理论存储实体之间的关系信息，最主要的组成有两种，结点集和连接结点的边。随着数据量的日渐庞大，传统数据库很难处理关系之间的运算，但图数据库则是专门为关系而生。 若你还没接触过图数据库，可能看到这个概念时，将会比较 ...
分类：
编程语言 时间：
2020-03-22 19:36:04
阅读次数：
230
