Scala-Hello World 目标，在本地启动一个项目，能够输出helloworld https://www.scala-lang.org/ 官网提供的下载安装方式有很多种。 推荐IDE： IDEA 和 VSCode 这里我安装了IDEA，就用了它。 创建scala文件的时候，提示安装Scal ...
分类：
其他好文 时间：
2021-06-25 17:00:41
阅读次数：
0
Scala 操作MySQL 本地之前安装过MySQL 启动： mysql.server start 停止： mysql.setver stop 登录： mysql -u root ; 登录root用户。 选择一个database ： use erwa 查看所有的database： show data ...
分类：
数据库 时间：
2021-06-25 17:00:08
阅读次数：
0
参考集成模式 环境准备 基于docker 运行 spark 环境准备 docker run -it -p 8080:8080 datamechanics/spark:jvm-only-3.1-latest sh // 启动master /opt/spark/sbin/start-master.sh ...
分类：
其他好文 时间：
2021-06-25 16:43:35
阅读次数：
0
import it.bigdata.flink.study.SensorReding import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink.streaming.api.s ...
分类：
其他好文 时间：
2021-06-25 16:39:11
阅读次数：
0
import it.bigdata.flink.study.SensorReding import org.apache.flink.api.common.state.{ValueState, ValueStateDescriptor} import org.apache.flink.configu ...
分类：
其他好文 时间：
2021-06-25 16:38:37
阅读次数：
0
1.当extends app 时，可以引入变量，而使用main函数不能引入 extends app main 函数 2. extends app 会延迟加载，使用main函数更加稳定 等区别网络自行搜索 其他不同待补充 ...
分类：
移动开发 时间：
2021-06-24 18:03:37
阅读次数：
0
什么是任务调度 大数据平台技术框架支持的开发语言多种多样，开发人员的背景差异也很大，这就产生出很多不同类型的程序（任务）运行在大数据平台之上，如：MapReduce、Hive、Pig、Spark、Java、Shell、Python 等。 这些任务需要不同的运行环境，并且除了定时运行，各种类型之间的任 ...
分类：
其他好文 时间：
2021-06-23 17:16:53
阅读次数：
0
1.spark内存分配 MemoryManager |__StaticMemoryManager 静态内存管理机制 |__UnifiedMemoryManger 统一内存管理机制 1.静态内存管理机制 静态内存管理机制实现起来较为简单，但没有根据具体的数据规模和计算任务做相应的配置，很容易造成"一半 ...
分类：
其他好文 时间：
2021-06-23 17:02:31
阅读次数：
0
spark-RDD缓存,checkpoint机制,有向无环图,stage 1.RDD依赖关系 RDD依赖关系有2种不同类型，窄依赖和宽依赖。 窄依赖(narrow dependency)：是指每个父RDD的Partition最多被子RDD一个Partition使用。就好像独生子女一样。窄依赖的算子包 ...
分类：
其他好文 时间：
2021-06-22 18:39:47
阅读次数：
0
1 集群安装部署 1、下载安装包（http://kafka.apache.org） https://archive.apache.org/dist/kafka/1.1.0/kafka_2.11-1.1.0.tgz kafka_2.11-1.1.0.tgz 2、规划安装目录 /bigdata/inst ...
分类：
其他好文 时间：
2021-06-20 18:39:18
阅读次数：
0
