项目中用到Redis，所以准备学习一下，感觉Redis的概念还是很多的，什么主从模式、Sentinal模式、集群模式的，一下子都晕了，我觉得还是有必要先理清这些基本概念再说。 一、单节点实例 单节点实例还是比较简单的，平时做个测试，写个小程序如果需要用到缓存的话，启动一个Redis还是很轻松的，做为 ...
分类：
其他好文 时间：
2017-06-21 23:07:51
阅读次数：
415
工作中，经常有些Redis实例使用不恰当，或者对业务预估不准确，或者key没有及时进行处理等等原因，导致某些KEY相当大。 那么大Key会带来哪些问题呢？ 如果是集群模式下，无法做到负载均衡，导致请求倾斜到某个实例上，而这个实例的QPS会比较大，内存占用也较多；对于Redis单线程模型又容易出现CP ...
分类：
其他好文 时间：
2017-06-19 20:50:42
阅读次数：
147
近期两个月一直和kettle打交道，从開始的没听说过，到如今能够熟练运用，不得不说项目驱动下，学习东西是最快的。好了，尽管使用kettle应付项目的任务绰绰有余。可是还是想系统的学习一下，总结一下。比如job用的比較少，kettle的集群模式没有涉及到等等。 说起kettle，还是先说说ETL（Ex ...
分类：
其他好文 时间：
2017-06-04 12:51:02
阅读次数：
200
不管是以前的主从模式(哨兵模式),还是现在的集群模式,因为都用了slave of 同步; 而slave of 同步会丢弃本地数据,直接用对方的数据来覆盖本地,所以会丢失数据 1.主备网络不通,后续主节点宕机 备份节点会变成新主节点,明显这个新主节点上数据不全,等原主节点重启后,会向新主节点同步数据, ...
分类：
其他好文 时间：
2017-05-27 15:25:33
阅读次数：
223
1.环境 JDK7+ zookeeper 3.3.6 tomcat 7+ 2.搭建步骤 （1）安装zookeeper 单机模式：参考这里。 伪集群模式：参考这里。 ①单机或伪集群模式均可。 ②笔者使用了伪集群模式。 （2）下载dubbox源码（地址：https://github.com/dangda ...
分类：
其他好文 时间：
2017-05-20 22:37:41
阅读次数：
90
回顾 在上一小节，我们在PWTopology1 这一个java类中注解掉了集群模式，使用本地模式大概了解一下storm的工作流程。这一节我们注解掉本地模式相关的代码，放开集群模式相关代码，并且将项目打包，在实际环境中运行一下。 集群模式部署步骤 项目打包 pom.xml右键 --> run as - ...
分类：
其他好文 时间：
2017-05-19 00:48:57
阅读次数：
141
参考： https://my.oschina.net/fengjihu/blog/416883（srs集群模式） http://blog.csdn.net/reblue520/article/details/50857078（lvs负载均衡） http://www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html(arp_ignore和arp_announce) http://www.linuxvirtualserver.or..
分类：
其他好文 时间：
2017-05-17 23:31:44
阅读次数：
304
前言： 随着业务的扩大，用户的增多，访问量的增加，单机模式已经不能支撑，从而出现了从单机模式->垂直应用模式->集群模式，集群模式诞生了，伴随着一堆问题也油然而生，Master怎么选举，机器故障及时移除集群，添加机器了如何及时的感应到，Zookeeper不仅能维护当前的集群服务状态，还能及时的选出m ...
分类：
其他好文 时间：
2017-05-16 15:01:02
阅读次数：
212
Spark有以下四种运行模式： local：本地单进程模式，用于本地开发测试Spark代码; standalone：分布式集群模式，Master-Worker架构，Master负责调度，Worker负责具体Task的执行; on yarn/mesos：运行在yarn/mesos等资源管理框架之上，y ...
分类：
其他好文 时间：
2017-05-06 01:01:50
阅读次数：
246
Spark集群模式&Spark程序提交 1. 集群管理器 Spark当前支持三种集群管理方式 Standalone—Spark自带的一种集群管理方式，易于构建集群。 Apache Mesos—通用的集群管理，可以在其上运行Hadoop MapReduce和一些服务应用。 Hadoop YARN—Ha ...
分类：
其他好文 时间：
2017-04-25 00:37:59
阅读次数：
227
