所谓带宽（bandwidth)可以通俗理解为单位时间内访问网络的的最大数据流量。如果使用100M网络交换机，局域网带宽可以达到100M；如使用10M交换机则只能达到10M。主要是访问互联网的速度，这个可以和电信部门推出的“宽带”和“窄带”用户一起综合理解，所谓“窄带”用户，一般指..
分类：
其他好文 时间：
2017-01-03 17:31:21
阅读次数：
174
许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。 Apache Storm 在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（mast ...
分类：
其他好文 时间：
2016-10-10 20:24:13
阅读次数：
118
摘要：python语言俨然不算新技术，七八年前甚至更早已有很多人研习，只是没有现在流行罢了。之所以当下如此盛行，我想肯定是多因素造成了，当然市场需求的重要因素。吴军博士对大数据流行的解释与python流行或许有些默契。数据一直以来都存在，只是在历史条件下，由于计算性能和技术发展的原因，与之匹配的数据... ...
分类：
编程语言 时间：
2016-10-04 20:47:17
阅读次数：
951
原文:PHP环境下Memcache的使用方法 原文地址：http://www.2cto.com/kf/201503/384967.html 如今互联网崛起的时代，各大网站都面临着一个大数据流问题，怎么提高网站访问速度，减少对数据库的操作；作为PHP开发人员，我们一般能想到的方法有页面静态化处理、防盗... ...
分类：
Web程序 时间：
2016-09-28 01:24:33
阅读次数：
340
memcached：高性能的分布式内存缓存服务器 storm：分布式实时大数据流式计算系统 ZooKeeper：是一个开放源码的分布式应用程序协调服务 hadoop：基于磁盘和分布式文件系统的，能够对大量数据作分布式批处理的大数据框架 ZooKeeper：是一个开放源码的分布式应用程序协调服务 ha ...
分类：
其他好文 时间：
2016-07-31 11:40:04
阅读次数：
168
当今 的 大数据流行， 一个表 的数据量会膨胀到亿 很正常， 如何拆表呢，方式有三种。 1、 垂直拆表， 按照业务， 比如手机订单， 我们把 商品为IPhone、三星、华为、小米等 很火的手机品牌单独拆出来。方式很多 2、水平拆分，根据逻辑结构， 比如 id%3=0 ,id%3=1,id%3=4.. ...
分类：
数据库 时间：
2016-06-30 12:18:06
阅读次数：
228
概述 互联网公司同质应用服务竞争日益激烈，业务部门亟需利用线上实时反馈数据辅助决策支持以提高服务水平。Alluxio（前Tachyon）作为一个以内存为中心的虚拟分布式存储系统，在大数据系统性能提升以及生态系统多组件整合的进程中扮演着重要角色。本文将介绍去哪儿网（Qunar）的一个基于Alluxio ...
分类：
其他好文 时间：
2016-05-31 10:35:18
阅读次数：
346
谈谈当下火热的流式计算，以及它在大数据体系中的利与弊，优点与缺点。...
分类：
其他好文 时间：
2016-05-12 23:09:31
阅读次数：
150
Laxcus大数据管理系统2.0版本推出有两个多月了，最近做了一次使用情况调查，发现最受欢迎的竟是流式处理。这大大出乎我们推出新版本时的预料。因为当时新版本推出时，流式处理只是做为磁盘数据处理的一项辅助功能而附带提供的，而且最初设计流式处理时，技术上也并没有花太多心思，因为它很容易实现，只是改变一下 ...
分类：
其他好文 时间：
2016-05-12 08:00:13
阅读次数：
190
对于大数据流的传输，除了逻辑优化之外，还可以进行物理优化：即对传输的数据，进行压缩。压缩率能达到70%~80%； 大大改善web网页传输速度。 ByteArrayOutputStream arrayOutputStream ＝new ByteArrayOutputStream(); //采用gzip ...
分类：
Web程序 时间：
2016-04-27 09:35:42
阅读次数：
239
