码迷,mamicode.com
首页 >  
搜索关键字:spark streaming redis    ( 30354个结果
Redis 持久化功能:AOF 日志
1. 什么是 AOF 日志? 2. 三种写回策略 1. 什么是 AOF 日志? 试想一下,如果 Redis 每执行一条写操作命令,就把该命令以追加的方式写入到一个文件里,然后重启 Redis 的时候,先去读取这个文件里的命令,并且执行它,这不就相当于恢复了缓存数据了吗? 这种保存写操作命令到日志的持 ...
分类:其他好文   时间:2021-06-02 16:21:07    阅读次数:0
09 spark连接mysql数据库
1.安装启动检查Mysql服务。netstat -tunlp (3306) 2.spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 3.启动 Mysql ...
分类:数据库   时间:2021-06-02 15:40:05    阅读次数:0
Spark任务提交和执行流程
本文转自:https://www.cnblogs.com/chhyan-dream/p/12013463.html 1、概述 为了更好地理解调度,我们先看一下集群模式的Spark程序运行架构图,如上所示: 2、Spark中的基本概念 1、Application:表示你的程序 2、Driver:表示m ...
分类:其他好文   时间:2021-06-02 15:22:12    阅读次数:0
09 spark连接mysql数据库
安装启动检查Mysql服务。 netstat -tunlp (3306) spark 连接mysql驱动程序。 –cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 启动 Mysql she ...
分类:数据库   时间:2021-06-02 15:02:56    阅读次数:0
第140天学习打卡(Docker --link 自定义网络 网络连通 部署Redis集群 发布SpringBoot镜像)
--link 思考一个场景,我们编写了一个微服务器, database url=ip; 项目不重启,数据库ip换掉了,我们希望可以处理这个问题,可以名字来进行访问容器? [root@kuangshen /]# docker exec -it tomcat02 ping tomcat01 ping: ...
分类:编程语言   时间:2021-06-02 14:52:05    阅读次数:0
redis分布式锁相关
基于Redisson的分布式锁。 使用apollo的addChangeListener方法监听配置。 Redis Pttl 命令以毫秒为单位返回 key 的剩余过期时间。pexpire 以毫秒为单位设置 key 的生存时间Psetex 命令以毫秒为单位设置 key 的生存时间 1、通过以下方法创建r ...
分类:其他好文   时间:2021-06-02 12:48:39    阅读次数:0
08 学生课程分数的Spark SQL分析
读学生课程分数文件chapter4-data01.txt,创建DataFrame。 一、用DataFrame的操作完成以下数据分析要求 每个分数+5分。 总共有多少学生? 总共开设了哪些课程? 每个学生选修了多少门课? 每门课程有多少个学生选? 每门课程大于95分的学生人数? Tom选修了几门课?每 ...
分类:数据库   时间:2021-06-02 12:16:19    阅读次数:0
Redis总结
Nosql概述: 大数据时代,一般的数据库无法支撑 为什么要用NoSQL 用户的个人信息,社交网络,地理位置,用户自己产生的数据,用户的日志等等爆发式增长! 这时候我们需要使用NoSQL数据库,可以很好的处理以上情况 什么是NoSQL NoSQL = Not Only SQL泛指非关系型数据库 No ...
分类:其他好文   时间:2021-06-02 11:55:43    阅读次数:0
java高并发秒杀活动的各种简单实现【springBoot+mybatis+redis+mysql】
最近遇到比较多数据不一致的问题,大多数都是因为并发请求时,没及时处理的原因,故用一个比较有代表性的业务场景【活动秒杀】来模拟一下这个这种高并发所产生的问题。 首先搭建一个springboot项目在这里我做演示了,不会的可以自行百度,搭建过程很简单。 1:搭建好的项目目录结构 2:商品表(记录商品名称 ...
分类:数据库   时间:2021-06-02 11:10:53    阅读次数:0
redis主从复制的核心原理
此内容参考蒋德钧老师将讲义 Redis具有高可靠性,具有两层含义:一是数据尽量少丢失,二是服务尽量少中断。AOF和RDB保证了前者,而对于后者,redis的做法是增加副本冗余,将一份数据同时保存在多份实例上。即使有一个实例出现了宕机,需要一段时间才能恢复,其他实例也可以对外提供服务,不会影响业务使用 ...
分类:其他好文   时间:2021-06-02 11:06:51    阅读次数:0
30354条   上一页 1 ... 14 15 16 17 18 ... 3036 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!