import org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}// 创建一个本地模式的StreamingContext, 两个工作线程， 1s的批处理间隔//Master要求 ...
分类：
其他好文 时间：
2021-07-02 16:32:11
阅读次数：
0
1、改成本地模式 . val conf = new SparkConf().setAppName("ScalaWordCount").setMaster("local") 2、编写入参 传参 ...
分类：
其他好文 时间：
2021-04-24 13:30:06
阅读次数：
0
在开发Flink程序在本地模式调试时，需要用webUI， 首先需要导入依赖 <!-- flink运行时的webUI --> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web_2.11</art ...
分类：
Web程序 时间：
2021-04-24 11:56:23
阅读次数：
0
今日内容:1) hive的自定义函数 (简单会实现即可)2) hive优化部分: 能够理解, 知道有这些优化方案 , 记录 2.1: hive的数据压缩 2.2: hive的数据存储格式 2.3: fetch抓取 2.4: 本地模式 2.5: join的优化 2.6: SQL优化的方案 2.7: 动 ...
分类：
其他好文 时间：
2020-08-10 09:24:13
阅读次数：
57
Hadoop 在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大，在Hadoop2.x时代，增加了Yarn。Yam只负责资源的调度,MapReduce只负责运算。 Hadoop运行模式 本地模式、伪模式以及完全分布式模式。 3.格式化 只能格式化 ...
分类：
其他好文 时间：
2020-07-26 23:02:06
阅读次数：
67
Flink 的安装和部署主要分为本地（单机）模式和集群模式，其中本地模式只需直接解压就可以使用，不以修改任何参数，一般在做一些简单测试的时候使用。本地模式在我们的 课程里面不再赘述。集群模式包含： u Standalone。 u Flink on Yarn。 u Mesos。 u Docker。 u ...
分类：
其他好文 时间：
2020-07-07 12:56:50
阅读次数：
58
Hadoop伪分布模式配置 Hadoop共有三种部署方式：本地模式，伪分布模式及集群模式；本次安装配置以伪分布模式为主，即在一台服务器上运行Hadoop（如果是分布式模式，则首先要配置Master主节点，其次配置Slave从节点）。以下说明如无特殊说明，默认使用root用户登录主节点，进行以下的一系 ...
分类：
其他好文 时间：
2020-06-28 00:11:54
阅读次数：
74
[toc] 一、部署Hadoop本地模式 1. 搭建linux环境 我用的centos7 2. 在/opt目录下创建目录 3. 安装jdk 4. 下载hadoop https://hadoop.apache.org/releases.html 并解压到/opt/module目录 5. 配置hadoo ...
分类：
其他好文 时间：
2020-05-24 23:42:50
阅读次数：
64
Flink 常见的部署模式：本地模式、Standalone 模式和 Flink On Yarn 模式，然后分别讲解三种模式的使用场景和部署中常见的问题，最后将讲解在生产环境中 Flink 集群的高可用配置。 Flink 常见的部署模式环境准备在绝大多数情况下，我们的 Flink 都是运行在 Unix ...
分类：
其他好文 时间：
2020-05-10 22:51:01
阅读次数：
98
1、Linux基础环境配置：CentOS7安装、配置 1.1、虚拟机安装Linux操作系统 A）Linux操作系统版本：CentOS 7 x86_64 DVD 1908.iso B）虚拟机安装CentOS配置：内存：1G，CPU：1，硬盘：40G C）网络：桥接 1.2、CentOS网络配置 A）C ...
分类：
其他好文 时间：
2020-05-05 19:43:47
阅读次数：
58
