Linux常用命令 1、系统命令 runlevel # 查看当前的运行级别 systemctl status firewalld # 开启网络服务功能 stop # 关闭 restart # 重启 reload # 重载 reboot # 重启 halt # 关机 poweroff # 关机 2、查 ...
分类：
系统相关 时间：
2021-07-01 16:41:50
阅读次数：
0
摘要：CarbonData 在 Apache Spark 和存储系统之间起到中介服务的作用，为 Spark 提供的4个重要功能。 本文分享自华为云社区《Make Apache Spark better with CarbonData》，原文作者：大数据修行者 。 Spark 无疑是一个强大的处理引擎 ...
分类：
Web程序 时间：
2021-06-30 18:44:44
阅读次数：
0
package cn.irisz.steam import org.apache.flink.api.common.RuntimeExecutionMode import org.apache.flink.streaming.api.scala._ import org.apache.flink.t ...
分类：
其他好文 时间：
2021-06-29 15:38:43
阅读次数：
0
环境为最小化安装初始化环境 yum install -y vim net-tools wget tree lrzsz关闭防火墙systemctl stop firewalld.servicesystemctl disable firewalld.service关闭selinuxsed -i 's/S ...
分类：
数据库 时间：
2021-06-29 15:18:17
阅读次数：
0
Scala 操作MySQL 本地之前安装过MySQL 启动： mysql.server start 停止： mysql.setver stop 登录： mysql -u root ; 登录root用户。 选择一个database ： use erwa 查看所有的database： show data ...
分类：
数据库 时间：
2021-06-25 17:00:08
阅读次数：
0
参考集成模式 环境准备 基于docker 运行 spark 环境准备 docker run -it -p 8080:8080 datamechanics/spark:jvm-only-3.1-latest sh // 启动master /opt/spark/sbin/start-master.sh ...
分类：
其他好文 时间：
2021-06-25 16:43:35
阅读次数：
0
import it.bigdata.flink.study.SensorReding import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink.streaming.api.s ...
分类：
其他好文 时间：
2021-06-25 16:39:11
阅读次数：
0
参考 https://www.zhihu.com/question/29669829 手动强制同步 #####1.架梯子 #####2.地址栏输入：chrome://sync-internals #####3.中间那列中下方，点击“Stop Sync (Keep Data)”，之后点击“Reques ...
分类：
其他好文 时间：
2021-06-24 18:08:38
阅读次数：
0
什么是任务调度 大数据平台技术框架支持的开发语言多种多样，开发人员的背景差异也很大，这就产生出很多不同类型的程序（任务）运行在大数据平台之上，如：MapReduce、Hive、Pig、Spark、Java、Shell、Python 等。 这些任务需要不同的运行环境，并且除了定时运行，各种类型之间的任 ...
分类：
其他好文 时间：
2021-06-23 17:16:53
阅读次数：
0
1.spark内存分配 MemoryManager |__StaticMemoryManager 静态内存管理机制 |__UnifiedMemoryManger 统一内存管理机制 1.静态内存管理机制 静态内存管理机制实现起来较为简单，但没有根据具体的数据规模和计算任务做相应的配置，很容易造成"一半 ...
分类：
其他好文 时间：
2021-06-23 17:02:31
阅读次数：
0
