Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台，它立足于内存计算，性能超过Hadoop百倍，从多迭代批量处理出发，兼收并蓄数据仓库、流处理和图计算等多种计算范式，是罕见的全能选手。Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询...
分类：
其他好文 时间：
2014-07-03 10:19:26
阅读次数：
208
heartbeat+drbd+mysql是一种早期的mysql高可用技术。资料来源：http://www.drbd.orgDRBD原理:DRBD是对磁盘块操作的复制，可看做网络raid1。不复制磁盘内容，只复制操作。原理可见下图架构描述服务器列表 192.168.1.82192.168.1.1...
分类：
数据库 时间：
2014-07-03 00:37:22
阅读次数：
584
有过MySQL运维的人应该都清楚，线上的MySQL一般都采用源码编译，因为这样才可以根据企业的各自需要选择要编译的功能，虽然MySQL的源码编译挺简单的，但是试想一下，如果你有几百台服务器同时要安装MySQL，难道你还一台台去手动编译、编写配置文件吗？这显然太低效了，本文讨论MySQL的自动化安装部署。
1、制作符合自己需求的RPM包
我们要根据MySQL的源码编译符合企业需求的RPM包，源码...
分类：
数据库 时间：
2014-07-02 15:31:06
阅读次数：
340
上一篇，咱们总结了下，ansible里的variables，这东西是从哪里来的。楼主举的例子可能都比较白痴，不过重在说明原理和过程，大伙有实际需求的时候，可以弄点高深的玩玩。说过了，variables来自哪里，那variables该咋用呢？说起用，用可以简单的用，也可以复杂的用，简单的用var..
分类：
其他好文 时间：
2014-07-02 11:39:34
阅读次数：
330
NoSQL数据库：数据的一致性
读取一致性
强一致性
在任何时间访问集群中任一结点，得到的数据结果一致；
用户一致性
对同一用户，访问集群期间得到的数据一致；
解决用户一致性：使用粘性会话，将会话绑定到特定结点来处理；
这样会降低负载均衡器的性能；
最终一致性
集群中各结点间由于数据同步不及时造成暂时的数据不一致，但数据同步完成后，最终具有一致性；
...
分类：
数据库 时间：
2014-07-02 10:46:45
阅读次数：
289
说起变量，ansible中的变量，差不多等于salt-stack里面的pillar+grains吧ansible中的变量主要来源于，楼主总结了一下，大概有这么几个地方吧Inventory(hostvars,groupvars)playbook里面命令行roles里面来自于nodes上面的facts这些类型的变量，1-4一般来说都是咱们用户自己定义..
分类：
其他好文 时间：
2014-07-02 06:10:50
阅读次数：
283
负载均衡是集群部署中的一种，通过多个节点来承担邮件服务的工作，每个获取Web页面的新请求都被动态路由到一个负载较低的节点上。即把负载压力根据某种算法合理分配到集群中的每一台计算机上，以减轻主服务器的压力，降低对主服务器的硬件和软件要求，适用于大容量用户使用。集群技术解析集群（Cluster）技术是指...
分类：
其他好文 时间：
2014-07-01 18:00:42
阅读次数：
267
NoSQL数据库：数据的一致性读取一致性强一致性 在任何时间访问集群中任一结点，得到的数据结果一致； 用户一致性 对同一用户，访问集群期间得到的数据一致； 解决用户一致性：使用粘性会话，将会话绑定到特定结点来处理； 这样会降低负载均衡器的性能； 最终一...
分类：
数据库 时间：
2014-07-01 10:26:14
阅读次数：
318
roles类似于salt-stack里面的state，state有一定的组织结构。而roles则是ansible中，playbooks的目录组织结构。这么划分有啥好处呢？好处多了去了，如果把所有的东西都写到playbooks里面的话，可能会导致我们这个playbooks很臃肿，不宜读。而模块化之后，成为roles的组织结构，..
分类：
其他好文 时间：
2014-07-01 09:34:30
阅读次数：
324
为了构建基于Yarn体系的Spark集群，先要安装Hadoop集群，为了以后查阅方便记录了我本次安装的具体步骤。...
分类：
其他好文 时间：
2014-07-01 08:17:24
阅读次数：
576
