码迷,mamicode.com
首页 >  
搜索关键字:spark streaming redis    ( 30354个结果
Unable to connect to Redis; nested exception is io.lettuce.core.RedisConnectionException:解决方法
1.在自己的服务器中找到redis的配置文件 redis.conf 使用命令vi redis.conf或vim redis.conf ...
分类:其他好文   时间:2021-06-07 20:35:04    阅读次数:0
redis集群升级,数据迁移及校验
本次由于安全漏洞原因,需要降redis3升级为redis6,涉及到数据迁移及校验等,用阿里redis-shake迁移工具迁移,并用阿里RedisFullCheck工具进行数据比对 一、新redis安装启动 开启老版本redis的哨兵模式,编辑完sentinel.conf后执行哨兵模式启动,主节点均要 ...
分类:其他好文   时间:2021-06-07 20:24:55    阅读次数:0
09 spark连接mysql数据库
1. 安装启动检查Mysql服务。##netstat -tunlp (3306) cd /usr/local/hive/lib ls mysql* cp mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars/ cd /usr/local/ ...
分类:数据库   时间:2021-06-07 20:10:49    阅读次数:0
【Redis】CentOS7安装Redis
安装Redis 首先安装wget命令,wget是一个从网络上下载文件的自由工具。 yum install wget 创建一个目录“soft” mkdir soft cd到soft目录中安装redis 打开Redis官网(https://redis.io/)获取下载链接https://download ...
分类:其他好文   时间:2021-06-07 20:10:20    阅读次数:0
分布式锁的各种实现
locker 分布式锁简介 分布式锁目前实现大部分方式 使用mysql 使用redis 使用zookeeper 基于此,成熟的案例有比如redisson 这种官方比较推荐的方案,为了深入研究,准备在这个项目中复现这3种形式的锁 锁的用途 分布式锁主要可以独立于服务之外,主要的目的是在集群中保证同一时 ...
分类:其他好文   时间:2021-06-07 20:07:12    阅读次数:0
01 Spark架构与运行流程
1. 阐述Hadoop生态系统中,HDFS, MapReduce, Yarn, Hbase及Spark的相互关系,为什么要引入Yarn和Spark。 HDFS是Hadoop体系中数据存储管理的基础,它是一个高度容错的系统,能检测和应对硬件故障,在低成本的通用硬件上运行。 HBase构建在HDFS之上 ...
分类:其他好文   时间:2021-06-07 20:05:58    阅读次数:0
Spark RDD编程
1. 准备文本文件: 从文件创建RDD lines=sc.textFile(): 筛选出含某个单词的行 lines.filter(),lambda 参数:条件表达式: 2. 生成单词的列表: 从列表创建RDD words=sc.parallelize(): 筛选出长度大于2 的单词 words.fi ...
分类:其他好文   时间:2021-06-07 20:04:33    阅读次数:0
Redis底层数据结构
String 如果一个字符串对象保存的是整数值,并且这个整数值可以用long类型来表示,那么将会把字符串对象的编码设置为int,底层数据结构为一个整数 如果字符串对象保存的是一个字符串值,那么底层将会使用SDS(simple dynamic string)来保存。如果这个字符串值的长度小于等于32字 ...
分类:其他好文   时间:2021-06-07 20:03:51    阅读次数:0
08学生课程分数的Spark SQL分析
读学生课程分数文件chapter4-data01.txt,创建DataFrame。 一、用DataFrame的操作完成以下数据分析要求 每个分数+5分。 总共有多少学生? 总共开设了哪些课程? 每个学生选修了多少门课? 每门课程有多少个学生选? 每门课程大于95分的学生人数? Tom选修了几门课?每 ...
分类:数据库   时间:2021-06-07 19:58:41    阅读次数:0
1-Redis入门
概述 Redis是什么? Redis是一种基于键值对的NoSQL数据库 Redis(Remote Dictionary Server)即远程字典服务 是一个开源的ANSI C语言编写、支持网络、可基于内存也可以持久化的日志型、Key-Value数据库,并且提供多种语言的API。免费开源 Redis能 ...
分类:其他好文   时间:2021-06-06 19:44:25    阅读次数:0
30354条   上一页 1 ... 9 10 11 12 13 ... 3036 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!