服务器硬件优化： 1 更好地选择CPU MySQL有些工作只能使用单核CPU，例如Replicate和SQL。CPU核数并不是越多越好，MySQL5.5使用的服务器不能超过32核，否则性能会下降。 2 优化磁盘IO 常用RAID级别： RAID0：称为条带，把多个磁盘链接成一个硬盘来使用，IO最好。 ...
分类：
数据库 时间：
2018-02-12 13:58:58
阅读次数：
205
一、主数据库配置1)修改主数据库配置文件[mysqld]#编号server-id=1#打开二进制日志log-bin-master-bin#主数据库日志log-bin-index=master-bin.index 2)重启数据service mysqld restart 3)mysql命令查看主数据库 ...
分类：
数据库 时间：
2018-02-10 23:22:54
阅读次数：
221
Step 1: Download the code Step 2: Start the server Step 3: Create a topic Step 4: Send some messages Step 5: Start a consumer Step 6: Setting up a mul ...
分类：
其他好文 时间：
2018-02-09 20:48:52
阅读次数：
163
主要知识点： 横向扩容后shard的自动分配及自动负载均衡 扩容极限及超过扩容极限后的处理 不同情况下的容错。 1、横向扩容 当扩容时，es会自动进行负载均衡，也就是会自动的分配primary shard 和replica shard 到新增加的node中。从而保证：每个node上有大致相同的sha... ...
分类：
其他好文 时间：
2018-02-09 15:47:07
阅读次数：
153
知识点： 容错机制 一、容错机制：master选举，replica容错，数据恢复 假设有9个shard（3个primary+6个replica)， 3个node， 此时如果有一个master node宕机，容错机制如下： 就会有一个primary丢失，在短时间内，status 是red,ES会自动选... ...
分类：
其他好文 时间：
2018-02-09 15:16:19
阅读次数：
116
转载 Kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、sto ...
分类：
其他好文 时间：
2018-02-08 20:22:12
阅读次数：
222
关于读写分离 由于写入主之后，同步到从有一个时间，所以读写分离会引发数据一致性问题。 MongoDB 通过复制集（Replica Set）来实现读写分离。 MongoDB复制集（Replica Set） 通过存储多份数据副本来保证数据的高可靠，通过自动的主备切换机制来保证服务的高可用。 当遇到复制集 ...
分类：
数据库 时间：
2018-02-08 00:20:13
阅读次数：
265
Kafka的概念： 1、 AMQP协议 1、 AMQP协议 1、 AMQP协议 Advanced Message Queuing Protocol （高级消息队列协议） The Advanced Message Queuing Protocol (AMQP)：是一个标准开放的应用层的消息中间件（Me ...
分类：
其他好文 时间：
2018-02-05 18:45:25
阅读次数：
150
最近在学习大数据，需要安装hadoop，自己弄了好久，最后终于弄好了。网上也有很多文章关于安装hadoop的，但总会遇到一些问题，所以把整个过程记录下来，有什么不对的地方大家可以留言更正。 一、ssh免密登录 1、测试是否能免密登录 The authenticity of host 'localho ...
分类：
其他好文 时间：
2018-02-05 12:36:36
阅读次数：
150
http://blog.itpub.net/26812308/viewspace-2124660/ 在Replica sets 中的secondary节点默认是不可读的。使用Replica Sets实现读写分离。通过在连接时指定或者在主库指定slaveOk，由Secondary来分担读的压力，Pri ...
分类：
数据库 时间：
2018-02-02 22:02:59
阅读次数：
208
