数据在线服务的一些探索经验

标签：style   blog   class   code   c   java   

本文聊下提供数据在线的一些经验

典型场景：数据组的同学每天凌晨在Hive上基于历史数据计算用户行为数据，通过工具将该数据推送到HBase，业务方通过RPC Service获取用户行为数据

整体架构

业务接入存储选型

传输设计

• 增量导入：在Hive上实现了一个数据对比工具，只导入变更数据到线上服务存储
• 限速导入：导的过程中限速

HBase方案设计

	/**
	 * 单个查询:根据表名、key、family、column返回value
	 * 
	 * @param tableName
	 *            表名
	 * @param key
	 *            查询的key      
	 * @param family
	 *            列所在的family（规范定义：“dim”）
	 * @param column
	 *            列名
	 * @return 
	 *            返回指定列的value,  指定列不存在返回null
	 * @throws 
	 *            IOException 远程调用失败或网络异常
	 */
	public String query(String tableName, String key, String family,
			String column) throws IOException;

• 正常情况下，访问一个集群，如果集群出现问题，将请求手动切到另一个集群
• 在做集群变更的时候，backup集群承担了“预发环境”的职责
• 个别高写应用和其他应用分布在不同的集群，在某个集群出问题的时候，切到一个集群，服务降级（响应时间变大）

• 不适合对响应时间要求非常严格的应用
• 在做线上变更（配置修改，扩容等）时，风险很大，谨慎！谨慎！

• 提高易用性
• 封装集群切换
• jar包依赖耦合过高
• Hadoop Kerberos安全机制令部署成本高，不利于业务扩张

Redis集群方案

• 通过RPC Service访问
• 客户端屏蔽多个Reids Node
• Sentine集群负责主从切换和向客户端汇报当前哪个结点为master结点
• 读：轮询
• 写/删：redis master
• 批量写/删：部分失败则全部失败

• 线上采用96G内存的机器，每台机器3个Redis-Server结点，每个结点内存使用量控制在20G以内，目标是降低Redis Servier结点fork子进程带来的影响
• 考虑到我们的应用场景，线上关闭自动bgrewriteaof，每天凌晨同一台机器上的Redis-Server结点顺序做bgrewriteaof
• 监控：zabbix+logscan

Memcache：

模型

在HBase中，上述概念和HBase一致
在Reids/Memcache中：
TableName + Family + Key组织成为物理存储的Key
Columns被序列化为Json
从而统一查询接口：

	/**
	 * 单个查询:根据表名、key、family、column list返回value
	 * 
	 * @param tableName
	 *            表名
	 * @param key
	 *            查询的key      
	 * @param family
	 *            列所在的family（默认：“dim”）
	 * @param columnList
	 *            列List
	 * @return 
	 *            返回指定列(json格式)
	 * @throws 
	 *            IOException 远程调用失败或网络异常
	 */
	public String query(String tableName, String family, String key,
			List<String> columnList) throws IOException;

示例，一张Hive中的表：
HIVE > select * from bi.dprpt_user_city_profile_service limit 1;
OK
1_1     2010-09-02      2014-05-02      2010-09-02      2014-05-02      2011-06-01      2013-09-27      2010-06-08      2013-09-16      2012-08-29      2013-07-08      2       101     842
在HBase中保存为：
hbase(main):001:0> get ‘bi.dprpt_user_city_profile_service‘,‘1_1‘
COLUMN                                             CELL                                                                                                                                              
 dim:first_app_tg_date                             timestamp=1400025620039, value=2012-08-29                                                                                                         
 dim:first_app_visit_date                          timestamp=1400025620039, value=2010-09-02                                                                                                         
 dim:first_tg_date                                 timestamp=1400025620039, value=2010-06-08                                                                                                         
 dim:first_tg_visit_date                           timestamp=1400025620039, value=2011-06-01                                                                                                         
 dim:first_visit_date                              timestamp=1400025620039, value=2010-09-02                                                                                                         
 dim:last_app_tg_date                              timestamp=1400025620039, value=2013-07-08                                                                                                         
 dim:last_app_visit_date                           timestamp=1400025620039, value=2014-05-02                                                                                                         
 dim:last_tg_date                                  timestamp=1400025620039, value=2013-09-16                                                                                                         
 dim:last_tg_visit_date                            timestamp=1400025620039, value=2013-09-27                                                                                                         
 dim:last_visit_date                               timestamp=1400025620039, value=2014-05-02                                                                                                         
 dim:prefer_tg_cat0                                timestamp=1400025620039, value=2                                                                                                                  
 dim:prefer_tg_cat1                                timestamp=1400025620039, value=101                                                                                                                
 dim:prefer_tg_region                              timestamp=1400025620039, value=842 

在Redis/Memcache中保存为（7036447591228069586为tablename+family+key做MurmurHash之后的值）：
Redis > get 7036447591228069586
"{"prefer_tg_cat0":"2","last_tg_date":"2013-09-16","last_tg_visit_date":"2013-09-27","last_app_visit_date":"2014-05-02","first_app_tg_date":"2012-08-29","first_visit_date":"2010-09-02","last_app_tg_date":"2013-07-08","prefer_tg_cat1":"101","prefer_tg_region":"842","first_tg_date":"2010-06-08","last_visit_date":"2014-05-02","first_app_visit_date":"2010-09-02","first_tg_visit_date":"2011-06-01"}"

性能

数据在线服务的一些探索经验,布布扣,bubuko.com

数据在线服务的一些探索经验

标签：style   blog   class   code   c   java   

原文地址：http://blog.csdn.net/yfkiss/article/details/25688153