MemoryManager内存管理器 内存管理器可以说是spark内核中最重要的基础模块之一,shuffle时的排序,rdd缓存,展开内存,广播变量,Task运行结果的存储等等,凡是需要使用内存的地方都需要向内存管理器定额申请。我认为内存管理器的主要作用是为了尽可能减小内存溢出的同时提高内存利用率。 ...
分类:
其他好文 时间:
2019-06-13 09:17:47
阅读次数:
111
一、在Mysql中,如果是主从(包括一主多从)模式的数据库配置。请在创建数据库和对数控库进行增删改查操作,一定要在主库进行,从库主要提供主库备份和数据查询功能,请勿直接在从库进行增删改查。 一、在Mysql中,如果是主从(包括一主多从)模式的数据库配置。请在创建数据库和对数控库进行增删改查操作,一定 ...
分类:
数据库 时间:
2019-06-13 09:17:28
阅读次数:
137
MySQL复制: MySQL复制: MySQL内建的复制功能是构建大型,高性能应用程序的基础。将MySQL的数据分布到多个系统上去,这种分布的机制,是通过将mysql的某一台主机的数据复制到其它主机(slave)上,并重新执行一遍来实现。 MySQL内建的复制功能是构建大型,高性能应用程序的基础。将 ...
分类:
数据库 时间:
2019-06-13 09:17:13
阅读次数:
124
查看主从状态 查看主从状态 主服务器 主服务器 mysql> show master status; mysql> show master status; + + + + + + + + + + + + | File ? ? ? ? ? ? | Position ?| Binlog_Do_DB | ...
分类:
数据库 时间:
2019-06-13 09:17:00
阅读次数:
126
接下来我们在主库循环插入数据实验,然后看看进程状态,和同步情况 接下来我们在主库循环插入数据实验,然后看看进程状态,和同步情况 创建procedure 创建procedure delimiter // delimiter // create procedure fafa() create proce ...
分类:
数据库 时间:
2019-06-13 09:16:42
阅读次数:
147
对于主从正常执行,相应的延迟几乎是不存在的。但是在高QPS下,主从同步却出现了比较明显的延迟情况。 对于主从正常执行,相应的延迟几乎是不存在的。但是在高QPS下,主从同步却出现了比较明显的延迟情况。 __________________________________________________ ...
分类:
数据库 时间:
2019-06-13 09:16:25
阅读次数:
151
在从服务器上执行show slave status;可以查看到很多同步的参数,我们需要特别注意的参数如下: 在从服务器上执行show slave status;可以查看到很多同步的参数,我们需要特别注意的参数如下: Master_Log_File: SLAVE中的I/O线程当前正在读取的主服务器二进 ...
分类:
数据库 时间:
2019-06-13 09:15:59
阅读次数:
122
Mysql的 Replication 是一个异步的复制过程,从一个 Mysql instace(我们称之为 Master)复制到另一个 Mysql instance(我们称之 Slave)。在 Master 与 Slave 之间的实现整个复制过程主要由三个线程来完成,其中两个线程(Sql线程和IO线 ...
分类:
数据库 时间:
2019-06-13 09:15:42
阅读次数:
119
如果生产环境中只有一台ESXi服务器时,安装vclient客户端工具就可以满足需求;如果生产环境中有多台ESXi服务器时,那么就需要部署vCenter服务器。vCenterserver是vsphere基础物理架构的核心,可以集中管理多台ESXi服务器。每个vCenter服务器最多可管理1,000台ESXi主机;每个vCenter服务器最多可管理10,000个开启的虚拟机。安装vCenter服务必须
分类:
其他好文 时间:
2019-06-13 09:15:10
阅读次数:
234
为什么要做主从复制?1、在业务复杂的系统中,有这么一个情景,有一句sql语句需要锁表,导致暂时不能使用读的服务,那么就很影响运行中的业务,使用主从复制,让主库负责写,从库负责读,这样,即使主库出现了锁表的情景,通过读从库也可以保证业务的正常运作。 为什么要做主从复制?1、在业务复杂的系统中,有这么一 ...
分类:
数据库 时间:
2019-06-13 09:14:51
阅读次数:
117
MySQL主从同步MySQL AB复制1.对指定库的异地同步。2.MySQL主-->从复制架构的实现。3.MySQL服务器的只读控制。 MySQL主从同步MySQL AB复制1.对指定库的异地同步。2.MySQL主-->从复制架构的实现。3.MySQL服务器的只读控制。 主从:单向复制时,建议将从库 ...
分类:
数据库 时间:
2019-06-13 09:14:07
阅读次数:
121
1、什么是mysql主从同步? 1、什么是mysql主从同步? 当master(主)库的数据发生变化的时候,变化会实时的同步到slave(从)库。 当master(主)库的数据发生变化的时候,变化会实时的同步到slave(从)库。 2、主从同步有什么好处? 2、主从同步有什么好处? 水平扩展数据库的 ...
分类:
数据库 时间:
2019-06-13 09:13:34
阅读次数:
107
作为一种开放源代码的操作系统,Linux服务器以其安全,高效和稳定的显著优势而得以广泛应用,但是,若不加以控制,也不见得安全到哪里,这篇博文主要从账号安全控制价、系统引导和登录控制的角度,来进行Linux系统安全优化。并且使用辅助工具来查找安全隐患,以便我们运维人员及时采取相应的措施。安全方面确实需要注意的比较多,这篇博文从各个方面写了下来,比较琐碎,还需要耐心些看,根据需要来配置服务器的安全性一
分类:
系统相关 时间:
2019-06-13 09:13:20
阅读次数:
213
从库的io线程会实时依据master.info信息的去主库的binlog日志里面读取更新的内容,将更新的内容取回到自己的中继日志中,同时会更新master.info信息,此时sql线程实时会从中继日志中读取并执行里面的sql语句 从库的io线程会实时依据master.info信息的去主库的binlo ...
分类:
数据库 时间:
2019-06-13 09:13:07
阅读次数:
112
1 package InnerClass; 2 3 4 5 /** 6 * 匿名内部类 7 * @author SiyyaWu 8 */ 9 public class AnonymousInnerClass { 10 11 public static void main(String[] args)... ...
分类:
其他好文 时间:
2019-06-13 09:12:49
阅读次数:
101
1. 安装MySQL。首先要在两台服务器上安装MySQL,完成之后应该确认能否两台服务器能否互相访问。 这是因为缺省的my.cnf设置有bind-address=127.0.0.1,这条语句应该被注释掉。2. 创建账号。数据库中缺省的帐户的host值是localhost,所以应该创建一个可以远端访问 ...
分类:
数据库 时间:
2019-06-13 09:12:32
阅读次数:
126