1. hdfs存文件的时候会把文件切割成block，block分布在不同节点上，目前设置replicate=3，每个block会出现在3个节点上。 2. Spark以RDD概念为中心运行，RDD代表抽象数据集。以代码为例： sc.textFile(“abc.log”) textFile()函数会创建 ...
分类：
其他好文 时间：
2019-11-22 13:26:33
阅读次数：
63
本篇我们着重分析Eureka服务端的逻辑实现，主要涉及到服务的注册流程分析。 在Eureka的服务治理中，会涉及到下面一些概念： 服务注册 ：Eureka Client会通过发送REST请求的方式向Eureka Server注册自己的服务，提供自身的元数据，比如 IP 地址、端口、运行状况指标的UR ...
分类：
编程语言 时间：
2019-11-05 23:23:08
阅读次数：
175
1 目的 Spark Streaming整合Flume。参考官方整合文档（http://spark.apache.org/docs/2.2.0/streaming-flume-integration.html） 2 整合方式一：基于推 2.1 基本要求 flume和spark一个work节点要在同一 ...
分类：
Web程序 时间：
2019-11-02 12:16:54
阅读次数：
119
有时候，我们要对从库做在线修改过滤表的参数，刚开始的时候我们是直接修改配置文件的。 现在我们可以直接修改，比如我们修改Replicate_Do_Table 从库复制指定的表： 可以执行以下指令 1. stop slave； 关闭 从库复制 2. 修改： CHANGE REPLICATION FILT ...
分类：
数据库 时间：
2019-10-31 18:40:50
阅读次数：
127
1. batch norm 输入batch norm层的数据为[N, C, H, W], 该层计算得到均值为C个，方差为C个，输出数据为[N, C, H, W]. <1> 形象点说，均值的计算过程为： (1) 即对batch中相同索引的通道数取平均值，所以最终计算得到的均值为C个，方差的计算过程与此 ...
分类：
其他好文 时间：
2019-10-23 15:16:53
阅读次数：
67
相信大家通过阅读博文：非关系型数据库（NoSQL）——Redis安装及部署详解可以初步的认识Redis数据库的优势及其安装方法，今天我们来认识一下Redis数据库怎么横向扩展，以满足更大的访问需求。Redis3.0版本以上开始支持cluster，采用的是hashslot（hash槽），可以将多个Redis实例整个在一起，形成一个群集，也就是将数据分散到群集的多个机器上。Redis群集原理Redis
分类：
其他好文 时间：
2019-09-21 18:59:45
阅读次数：
94
配置基于 GTID 的主从复制 1.修改 master 和 slave 的配置文件 server-id=113 gtid_mode=on enforce-gtid-consistency=on replicate-do-db=gateway_target # 如果只需同步部分表，就在 slave 上 ...
分类：
数据库 时间：
2019-09-11 18:03:57
阅读次数：
117
一 GITD介绍 1.1 gtid的含义 Global Transaction Identifier，全局事务标识 阿里云的rds目前已经使用gtid 基于gtid的主从复制原理 每个mysql数据库上都有一个唯一uuid 每个事务生成一个id gtid由上面两者组合： uuid+事务id 1.2 ...
分类：
数据库 时间：
2019-07-06 00:45:07
阅读次数：
133
一、主从复制 主从复制：主节点负责写数据，从节点负责读数据，从而实现读写分离，提高redis的高可用性。 让一个服务器去复制（replicate）另一个服务器，我们称呼被复制的服务器为主节点（master），而对主服务器进行复制的服务器则被称为从节点（slave）， 如下图所示： 主从复制的特点： ...
分类：
其他好文 时间：
2019-06-24 18:23:36
阅读次数：
148
mysql教程主从同步失败Last_IO_Error: Got fatal error 1236 from master解决方法 mysql教程主从同步失败Last_IO_Error: Got fatal error 1236 from master解决方法 遇到这样的错误如：“Last_IO_Er ...
分类：
数据库 时间：
2019-06-13 10:44:11
阅读次数：
131
