码迷,mamicode.com
首页 >  
搜索关键字:spark streaming flume 整合 avro netcat    ( 21554个结果
springboot整合dubbo(2)-服务化最佳实践
分包:公共的模型、接口、异常都放在此处(springboot-interface-api) 将springboot-meeting-service、springboot-user-service系统pojo和service提取到springboot-interface-api 1.分包——新建普通m ...
分类:编程语言   时间:2021-06-28 20:31:31    阅读次数:0
冲刺第七天
每天的冲刺博客分为scrum和PM报告两部分 |吴邦天|负责项目整体构思以及对任务安排,承担项目具体设计,编码;| | | | | 唐嘉诚|负责项目前端页面设计,对项目进行美化以及细节完善| | 周游|承担整个项目的后端数据库搭建以及编码,对后期全部板块整合| SCRUM部分: 每个成员描述: (1 ...
分类:其他好文   时间:2021-06-28 20:28:08    阅读次数:0
spring boot 整合 shiro 权限框架
1.配置 pom <shiro.version>1.4.0</shiro.version> <!--shiro start--> <dependency> <groupId>org.apache.shiro</groupId> <artifactId>shiro-core</artifactId> ...
分类:编程语言   时间:2021-06-28 19:50:46    阅读次数:0
delta lake minio+dremio 集成试用
参考集成模式 环境准备 基于docker 运行 spark 环境准备 docker run -it -p 8080:8080 datamechanics/spark:jvm-only-3.1-latest sh // 启动master /opt/spark/sbin/start-master.sh ...
分类:其他好文   时间:2021-06-25 16:43:35    阅读次数:0
flink下沉数据到kafka
import it.bigdata.flink.study.SensorReding import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink.streaming.api.s ...
分类:其他好文   时间:2021-06-25 16:39:11    阅读次数:0
Azkaban 简介(一)
什么是任务调度 大数据平台技术框架支持的开发语言多种多样,开发人员的背景差异也很大,这就产生出很多不同类型的程序(任务)运行在大数据平台之上,如:MapReduce、Hive、Pig、Spark、Java、Shell、Python 等。 这些任务需要不同的运行环境,并且除了定时运行,各种类型之间的任 ...
分类:其他好文   时间:2021-06-23 17:16:53    阅读次数:0
spark内存分配
1.spark内存分配 MemoryManager |__StaticMemoryManager 静态内存管理机制 |__UnifiedMemoryManger 统一内存管理机制 1.静态内存管理机制 静态内存管理机制实现起来较为简单,但没有根据具体的数据规模和计算任务做相应的配置,很容易造成"一半 ...
分类:其他好文   时间:2021-06-23 17:02:31    阅读次数:0
spark-RDD缓存,checkpoint机制,有向无环图,stage
spark-RDD缓存,checkpoint机制,有向无环图,stage 1.RDD依赖关系 RDD依赖关系有2种不同类型,窄依赖和宽依赖。 窄依赖(narrow dependency):是指每个父RDD的Partition最多被子RDD一个Partition使用。就好像独生子女一样。窄依赖的算子包 ...
分类:其他好文   时间:2021-06-22 18:39:47    阅读次数:0
21、SpringBoot 异步任务,定时任务,邮件任务
1、SpringBoot整合异步任务 2、SpringBoot整合定时任务 ...
分类:编程语言   时间:2021-06-22 18:00:37    阅读次数:0
SSM整合(一)
SpringMVC:整合SSM 要求:需要熟练掌握MySQL数据库,Spring,JavaWeb及MyBatis知识,简单的前端知识 一、数据库环境 创建一个存放书籍数据的数据库表 create database `ssmbuild`; use `ssmbuild`; create table `b ...
分类:其他好文   时间:2021-06-22 17:58:28    阅读次数:0
21554条   上一页 1 2 3 4 5 ... 2156 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!