对于变化频率非常快的数据来说，如果还选择传统的静态缓存方式（Memocached、File System等）展示数据，可能在缓存的存取上会有很大的开销，并不能很好的满足需要，而Redis这样基于内存的NoSQL数据库，就非常适合担任实时数据的容器。但是往往我们又有数据可靠性的需求，采用MySQL作为数据存储，不会因为内存问题而引起数据丢失，同时也可以利用关系数据库的特性实现很多功能。所以就会很自然...
分类：
数据库 时间：
2015-01-07 11:04:35
阅读次数：
360
1 应用背景： 需要实时统计用户的登陆数，在线人数，活跃时间，下载等指标的数据，或者清洗后移到hdfs上。
2 设计架构：
1） 客户端产生数据---
2） kafka-生产者实时采集数据（保留7天）-----
3） storm实时消费数据，处理数据
4）把实时数据统计结果缓存到memcached 中...
分类：
其他好文 时间：
2014-12-29 23:01:45
阅读次数：
235
简介:spark是一个内存计算框架,解决了mapreduce在迭代与交互方面的不足迭代:多轮算法计算形式,pagerank,逻辑回归等交互:实时数据,数据仓库查询等spark重要概念:RDD: 弹性分布式数据集,弹性(数据多节点分片)分布式(集群节点)数据集(默认加载至内存)操作:转换(transformation)rdd..
分类：
其他好文 时间：
2014-12-26 14:47:34
阅读次数：
186
IDC评述网（idcps.com）12月25日报道：根据DailyChanges公布的实时数据显示，截至2014年12月23日，在全球域名解析服务商域名净增长量大战中，ROOKDNS.COM以净增17,083个域名拔得头筹，优势明显。另外，中国有4家服务商上榜，分别是中国万网、DNSPod、易名中国与新网。接下来，..
分类：
其他好文 时间：
2014-12-25 11:30:19
阅读次数：
109
IDC评述网（idcps.com）12月16日报道：根据DailyChanges公布的实时数据显示，截至2014年12月14日，在全球域名解析服务商域名净增长量十五强排行榜中，中国占据3个席位，分别是中国万网、邦腾科技、51DNS。其中，中国万网净增740个域名，排在第12名。下面，请看IDC评述网对数据..
分类：
其他好文 时间：
2014-12-16 15:22:25
阅读次数：
240
son数据是一种经型的实时数据交互的数据存储方法，使用到最多的应该是ajax与json配合使用了，下面我来给大家介绍jquery处理json数据方法。一、JSON的一些基础知识。JSON中对象通过“{}”来标识，一个“{}”代表一个对象，如{“AreaId”:”123”}，对象的值是键值对的形式（k...
分类：
Web程序 时间：
2014-12-05 12:37:17
阅读次数：
220
Galaxy是阿里数据平台事业部，实时计算组自研的增量计算框架。今年双十一，阿里直播大屏就是Galaxy支持和保障的重要业务之一，相信大家可能看过双十一之后网上一些介绍性的文章了，比如阿里研发实时计算平台 每秒运算量将超千万，不过这篇文章面向非技术人员，最后的比喻也是有点醉。还这篇比较新的 阿里巴巴实时数据公共层助力双11媒体直播。
本文我会介绍一些我认为可以公开出来说的galaxy技术上的特点，让技术人员对该计算框架有个更准确的认识。...
分类：
其他好文 时间：
2014-11-22 12:04:57
阅读次数：
391
业界领先的实时数据集成工具GoldenGate现在可以帮助企业在传统数据库和云平台、大数据平台之间进行实时复制。新的OGG 12c支持更多的异构数据库和大数据平台，进一步提升可管理性和对混合云的支持。主要新特性如下：一个新的streams迁移工具: Streams2OGG，帮助streams用户迁....
分类：
其他好文 时间：
2014-11-19 12:31:10
阅读次数：
230
1、准备工作2、一个Storm集群的基本组件3、Topologies4、Stream5、数据模型(Data Model)6、一个简单的Topology7、流分组策略(Stream grouping)8、使用别的语言来定义Bolt9、可靠的消息处理10、单机版安装指南本文翻译自：https://git...
分类：
其他好文 时间：
2014-11-18 13:09:04
阅读次数：
216
美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。第一部分架构和设计，将主要着眼于日志收集系...
分类：
Web程序 时间：
2014-11-18 11:44:44
阅读次数：
312
