原文：http://highlyscalable.wordpress.com/2013/08/20/in-stream-big-data-processing/ 作者：Ilya Katsov 相当长一段时间以来。大数据社区已经普遍认识到了批量数据处理的不足。非常多应用都对实时查询和流式处理产生了迫切 ...
分类：
其他好文 时间：
2016-04-18 21:59:26
阅读次数：
246
用安全的方式为您随时随地跨设备传送媒体内容、提供可伸缩的端到端媒体解决方案 可用于高级视频工作流的云 实现奥运会规模的直播与点播媒体传送 高可用的编码和流式处理 支持 Flash、iOS、Android、HTML5 和 Xbox 获得电影工作室认证的 DRM 支持 丰富的内容货币化 庞大的预集成合作 ...
分类：
其他好文 时间：
2016-03-30 14:37:47
阅读次数：
195
这两天搬家，身体很劳累，脑子算是没闲着。在把货物搬上楼的过程中，我琢磨了个自认为很高效的方法，本质和流式处理很像。需求与尝试
一车货物，零零散散打了些包，停在楼下，需要搬到五楼去。劳力有三人。一开始的方案是每个人自己拿几样东西，自管自上楼去，再下楼来拿下一趟。搬了几趟后，有以下一些问题：
1. 搬运过程中，累的不是手臂，而是脚。光爬几次五楼，腿已经先受不了了。
2. 过程中为了方便，楼下车不锁...
分类：
其他好文 时间：
2016-02-01 02:21:19
阅读次数：
127
转自：http://blog.jobbole.com/48595/诞 生在2011年Storm开源之前，由于Hadoop的火红，整个业界都在喋喋不休地谈论大数据。Hadoop的高吞吐，海量数据处理的能力使得人们可以方便地处理海量数据。但是，Hadoop的缺点也和它的优点同样鲜明——延迟大，响应缓慢，...
分类：
其他好文 时间：
2015-11-29 06:22:05
阅读次数：
192
原文链接：Spark Streaming性能调优详解 SparkStreaming提供了高效便捷的流式处理模式，但是在有些场景下，使用默认的配置达不到最优，甚至无法实时处理来自外部的数据，这时候我们就需要对默认的配置进行相关的修改。由于现实中场景和数据量不一样，所以我们无法设置一些通用的配置（要不然...
分类：
其他好文 时间：
2015-11-13 13:07:43
阅读次数：
278
Linux常见集群：将多台主机结合起来创造冗余集群，通过缩短平均修复时间提高系统可用性LB：lvs，nginxHA：Keepalived，heartbeat，corosync，cmanHP：高性能集群并行处理：分布式存储：HDFS：分布式计算：YARNbatch：MapReducein-memory：sparkstream：sotrm流式处理系统Keepal..
分类：
其他好文 时间：
2015-10-22 06:57:38
阅读次数：
2253
0 背景 阻塞队列在生产业务的很多场景里，都有使用需要。例如：在数据流式处理服务中，我们需要并行化的运行上游逻辑a与下游逻辑b；在rpc网络通讯框架场景中，我们需要解耦网络读写线程与消息处理线程。总之,阻塞队列是在不同职责的线程之间进行数据沟通的桥梁。在java的jdk里面有现成的Blockin.....
分类：
其他好文 时间：
2015-10-19 10:41:37
阅读次数：
238
最近公司业务数据量越来越大，以前的基于消息队列的日志系统越来越难以满足目前的业务量，表现为消息积压，日志延迟，日志存储日期过短，所以，我们开始着手要重新设计这块，业界已经有了比较成熟的流程，即基于流式处理，采用 flume 收集日志，发送到 kafka 队列做缓冲，storm 分布式实时框架进行消费...
分类：
Web程序 时间：
2015-10-15 20:36:00
阅读次数：
300
实时的流式处理系统必须是7*24运行的，同时可以从各种各样的系统错误中恢复，在设计之处，Spark Streaing就支持driver和worker节点的错误恢复。然后，在使用某些数据源的时候，错误恢复时输入数据可能会丢失。在spark 1.2中，加入write ahead logs（日志）这个初步...
分类：
其他好文 时间：
2015-09-29 20:38:16
阅读次数：
609
1. 从请求中获取MultipartFile @RequestMapping(value="/upload", method=RequestMethod.POST) public @ResponseBody String handleFileUpload( @Re...
分类：
Web程序 时间：
2015-08-28 17:27:56
阅读次数：
267
