kafka概念：
kafka是一个高吞吐量的流式分布式消息系统，用来处理活动流数据，比如网页的访问量pm,日志等，既能够实时处理大数据信息
也能离线处理。
特点：
1.高吞吐量
2.是一种显式的分布式系统，它假设，数据生产者（producer）,代理（brokers）和数据使用者（consum...
分类：
其他好文 时间：
2014-09-29 20:09:12
阅读次数：
196
HDFS特点概述
Hadoop整合抽象了众多的文件系统类，HDFS只是其中一种的具体实现。它是基于流数据模式和处理超大文件的需求开发的，主要特点如下：
处理超大文件
这里的超大文件通常是指MB到TB级别的数据文件，在实际应用中已经可达到PB级。
流式地访问数据
HDFS提供一次写入，多次读取的服务。...
分类：
其他好文 时间：
2014-09-27 20:51:00
阅读次数：
665
本文是我对分布式计算的算子这层的一些认识和想法。因为最近自己的开发任务也是这方面相关的，公司内部有自研的类流式计算框架需要做一层算子层。我主要分析的是流式系统上实现算子这一点入手，对比现有计算框架和业界正在开展的项目，分析分析这件事的表面和背后深层的含义，以及可想象空间。...
分类：
其他好文 时间：
2014-09-26 19:59:38
阅读次数：
220
Storm是一个分布式的、可靠的、容错的数据流处理系统（流式计算框架，可以和mapreduce的离线计算框架对比理解）。 整个任务被委派给不同的组件，每个组件负责一个简单的特定的处理任务。Storm集群的输入流是一个叫...
分类：
其他好文 时间：
2014-09-23 13:10:17
阅读次数：
348
(文中部分内容来自网络)XMPP协议:XMPP : The Extensible Messaging andPresence Protocol.中文全称:可扩展通讯和表示协议. 简介:可扩展通讯和表示协议 (XMPP) 可用于服务类实时通讯、表示和需求响应服务中的XML数据元流式传输。XMPP...
分类：
移动开发 时间：
2014-09-17 14:49:42
阅读次数：
268
总结下这周帮助客户解决报表生成操作的mysql 驱动的使用上的一些问题，与解决方案。由于生成报表逻辑要从数据库读取大量数据并在内存中加工处理后在生成大量的汇总数据然后写入到数据库。基本流程是 读取->处理->写入。1 读取操作开始遇到的问题是当sql查询数据量比较大时候基本读不出来。开始以为是ser...
分类：
数据库 时间：
2014-09-05 19:37:31
阅读次数：
351
HDFSHDFS设计基础与目标:冗余:硬件错误是常态流式数据访问。即数据比量读取而非随机读写，Hadoop擅长做的是数据分析而不是事务处理。大规模数据集简单一致性模型。为了降低系统复杂程度，对文件采用一次性写多多次读的逻辑设置，即是文件一经写入，关闭，再也不能修改。程序采..
分类：
其他好文 时间：
2014-09-04 02:58:58
阅读次数：
277
Hadoop介绍 Hadoop是一个能对大量数据进行分布式处理的软件框架。其基本的组成包括hdfs分布式文件系统和可以运行在hdfs文件系统上的MapReduce编程模型，以及基于hdfs和MapReduce而开发的一系列上层应用软件。 hdfs是在一个网络中以流式数据访问模式来存储超大文件的跨.....
分类：
其他好文 时间：
2014-09-02 15:22:34
阅读次数：
365
??流媒体技术 rtp/rtcp/rtsp资料精华！流媒体技术 流媒体是指在网络中使用流式（Sreaming）传输技术进行传输的连续时基媒体，如音频数据流或视频数据流，而不是一种新的媒体。流媒体技术（或称为流式媒体技术）就是把连续的影像和声音信息经过压缩处理后放到网络服务器上，让浏览者一边下载一边观看、收听，而不需要等到整个多媒体文件下载完成就可以即时观看的技术。流媒体技术并不是单一的技术，它是...
分类：
其他好文 时间：
2014-09-01 15:40:23
阅读次数：
291
今天在某个群中看到有人问在流式的数据中如何动态的维护中位数的方法，因为之前看到同学的一个问题，当时他没答出来。但是后来了解到类似top(k)，last(k)需要用到最大堆，最小堆一样，中位数需要利用双堆维护一下。 先复习一下，如果是静态的数据求取中位数的方法有哪些呢？ （1）排序 ...
分类：
其他好文 时间：
2014-08-30 13:53:09
阅读次数：
217
