最近着手个项目，整体数据量有5亿多，每个月增量9000w。应用场景是Oltp 根据用户id直接计算各种维度值。因为是Oltp 场景，直接根据用户id %2000分（方便后续横向扩展），有些喜欢扯分区表的或者顺序分表的请复习下数据库原理以及硬件原理。分完表oltp 访问速度上了几个level。但是.....
分类：
其他好文 时间：
2014-11-15 06:31:29
阅读次数：
208
安装和使用ElasticsearchElasticsearch是开源搜索平台的新成员，实时数据分析的神器，发展迅猛，基于Lucene、RESTful、分布式、面向云计算设计、实时搜索、全文搜索、稳定、高可靠、可扩展、安装＋使用方便，介绍都说的很好听，好不好用拿出来遛一遛。做了个简单测试，在两台完..
分类：
其他好文 时间：
2014-10-17 15:45:22
阅读次数：
222
SparkStreaming是一个对实时数据流进行高通量、容错处理的流式处理系统，可以对多种数据源（如Kdfka、Flume、Twitter、Zero和TCP 套接字）进行类似map、reduce、join、window等复杂操作，并将结果保存到外部文件系统、数据库或应用到实时仪表盘。Spark S...
分类：
Web程序 时间：
2014-10-13 22:30:37
阅读次数：
500
上文《.Net中的并行编程-3.ConcurrentQueue实现与分析》分析了ConcurrentQueue的实现，本章就基于ConcurrentQueue实现一个高性能的异步队列，该队列主要用于实时数据流的处理并简化多线程编程模型。设计该队列时考虑以下几点需求（需求来自公司的一个实际项目）： 1...
分类：
Web程序 时间：
2014-10-13 00:42:58
阅读次数：
239
HBase为可伸缩海量数据存储而设计，实现面向在线业务的实时数据访问延迟。HBase的伸缩性主要依赖其可分裂的HRegion及可伸缩的分布式文件系统HDFS实现。HBase中，数据以HRegion为单位进行管理，也就是说应用程序如果想要访问一个数据，必须先找到HRegion，然后将数据读写操作提..
分类：
其他好文 时间：
2014-10-01 00:39:00
阅读次数：
249
最近几天由于工作原因，需要设计实现一个线程安全的缓存机制，拿出来和大家分享交流一下。
应用背景：
缓存是在实际工作中经常用到的，主要作用呢？1. 提高响应速度 2. 降低cpu压力或者数据库压力。
在此，我的应用背景是拦截一些RFC请求(不要求获取实时数据)，以降低数据库及自身应用的访问压力。
目标：
高可扩展性：可以方便配置需要使用缓存的方法。...
分类：
编程语言 时间：
2014-09-16 18:59:30
阅读次数：
213
rsync+inotify实时数据同步单目录实战rsync+inotify实时数据同步单目录实战inotify是一个强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起加入了inotify支持，通过inotify可以监控文件系统中添加、删除、修改、移动等各种事件，利用这个内核...
分类：
其他好文 时间：
2014-09-07 21:08:55
阅读次数：
260
rsync+inotify实时数据同步多目录实战inotify配置是建立在rsync服务基础上的配置过程操作系统主机名网卡eth0默认网关用途root@58server1192.168.1.111192.168.1.1Rsync服务端root@58client192.168.1.121192.168...
分类：
其他好文 时间：
2014-09-07 21:01:35
阅读次数：
336
Spark Streaming 是基于spark的流式批处理引擎，其基本原理是把输入数据以某一时间间隔批量的处理，当批处理间隔缩短到秒级时，便可以用于处理实时数据流。本节描述了Spark Streaming作业的执行流程。图1 Spark Streaming作业的执行流程具体流程：客户端提交作业后启...
分类：
其他好文 时间：
2014-08-30 13:52:19
阅读次数：
292
一、sersync简介1、sersync是基于Inotify开发的，类似于Inotify-tools的工具2、sersync可以记录下被监听目录中发生变化的（包括增加、删除、修改）具体某一个文件或某一个目录的名字，然后使用rsync同步的时候，只同步发生变化的这个文件或者这个目录。二、Rsync+Inotify-tools..
分类：
其他好文 时间：
2014-08-26 11:54:46
阅读次数：
206
