基于Hadoop、Zookeeper、HBase、Flume框架上搭建一起来的一个日志分析系统。
使用Hadoop中的HDFS作为原始数据的存储,Flume作为数据的实时采集、转换等功能。
HBase作为数据的存储数据库,查询页面的数据都从这个分布式数据库中的一个表中获
取,根据应用程序的业务不同,查询不同的HBase表。实现了下面几大功能:
1 数据采集、转换和存储。正如上面介绍...
分类:
其他好文 时间:
2014-11-05 10:55:34
阅读次数:
182
老实说,目前市面上许多产品,的确是不成熟的产品。
用过一些,给人蛋痛的感觉。
导言
分布还是集总
今天我们来探讨一个很重要的问题。
每个程序员都有其思想,我的思想之一,就是分布式。
分布式,面对的一个问题,就数据的同步。
比如说,我们人类是分布式的,我们每个细胞都在无时无刻与其它细脑交换数据。
而现实世界,我们的设计是什么样子?一般都是集总式。
首先来说,这种方式,与...
分类:
数据库 时间:
2014-11-04 11:05:30
阅读次数:
186
一、背景 DB2(DB2认证DB2培训) 联合数据库(数据库培训数据库认证)是分布式数据库管理的特殊形式。在联合数据库系统中,可以通过一个SQL 命令来发出对多个数据源的命令请求。DB2 与非 DB2 数据库之间进行复制之前,首先需要保证非 DB2 数据源可以被 DB2 ESE Version 8....
分类:
数据库 时间:
2014-10-31 15:27:42
阅读次数:
278
DNS在企业中的应用DNS简介DNS(DomainNameSystem,域名系统),因特网上作为域名和IP地址相互映射的一个分布式数据库,能够使用户更方便的访问互联网,而不用去记住能够被机器直接读取的IP数串。通过主机名,最终得到该主机名对应的IP地址的过程叫做域名解析(或主机名解析)。..
分类:
其他好文 时间:
2014-10-30 02:07:04
阅读次数:
274
运行环境:主机1:Ubuntu14.04 Desktop + MySQL5.5 + JDK 1.7(HP Z400) 内网IP地址:192.168.137.8NODE1:Ubuntu 13.04 server + MySQL5.5 内网IP地址:192.168.137.31NODE2:Ubuntu ...
分类:
数据库 时间:
2014-10-29 18:28:54
阅读次数:
347
分布式事物两阶段提交原理图。
blog宗旨:用图说话。...
分类:
其他好文 时间:
2014-10-26 11:50:51
阅读次数:
197
DNS(DomainNameSystem,域名系统),因特网上作为域名和IP地址相互映射的一个分布式数据库,能够使用户更方便的访问互联网,而不用去记住能够被机器直接读取的IP数串。通过主机名,最终得到该主机名对应的IP地址的过程叫做域名解析(或主机名解析)。DNS协议运行在UDP协议之上..
分类:
其他好文 时间:
2014-10-26 06:54:14
阅读次数:
203
SQL Server自定义业务功能的数据同步
在不同业务需求的驱动下,数据库的模块化拆分将会面临一些比较特殊的业务逻辑处理需求。例如,在数据库层面的数据同步需求。同步过程中,可能会有一些比较复杂的业务逻辑判断。简单介绍几个SQL Server提供的数据同步功能。
已链接服务(Linked Serve...
分类:
数据库 时间:
2014-10-16 14:06:02
阅读次数:
345
TransactionScope是个好东西,可以自动管理transaction,即使是对分布式数据库也可以,但是需要一些配置(摸索了2天。。。), 本文的环境为windows 2003:
分类:
其他好文 时间:
2014-10-15 20:52:11
阅读次数:
220
http://www.cnblogs.com/xiaocen/p/3736095.htmlamoeba实现mysql读写分离application shang2年前 (2013-03-28)4095浏览0评论说明:要实现mysql的主从读写分离,目前主要有以下几种方案:1.通过程序实现,网上很多现成...
分类:
数据库 时间:
2014-10-08 16:29:35
阅读次数:
346