flume：从数据源拉取数据 kafka：主要起到缓冲从flume拉取多了的数据 sparkStream：对数据进行处理 一.flume拉取数据 1.源数据文件读取配置 在flume目录的conf目录下配置读取数据源的配置，配置一个test.properties文件，内容如下: a1.sources
分类：
Web程序 时间：
2016-02-22 13:40:06
阅读次数：
404
转发至：http://www.ituring.com.cn/article/130823 导言 现代的应用程序面临着诸多的挑战，如何构建具有可伸缩性和高性能的应用成为越来越多软件开发者思考的问题。随着应用规模的不断增大，业务复杂性的增长以及实时处理需求的增加，开发者不断尝试榨取硬件资源、优化。 在不
分类：
其他好文 时间：
2016-02-11 14:34:29
阅读次数：
388
什么是Storm?Storm是twitter开源的一套实时数据处理框架，基于该框架你可以通过简单的编程来实现对数据流的实时处理变换。Storm的配置文件一般存放在$STORM_HOME/conf下，通常名为storm.yaml，它符合yaml格式要求。配置项详解:以下是从storm的backtype...
分类：
其他好文 时间：
2015-12-30 00:27:45
阅读次数：
200
原文链接：Spark Streaming性能调优详解 SparkStreaming提供了高效便捷的流式处理模式，但是在有些场景下，使用默认的配置达不到最优，甚至无法实时处理来自外部的数据，这时候我们就需要对默认的配置进行相关的修改。由于现实中场景和数据量不一样，所以我们无法设置一些通用的配置（要不然...
分类：
其他好文 时间：
2015-11-13 13:07:43
阅读次数：
278
原文地址 实时商务智能这一构想早已算不得什么新生事物（早在2006年维基百科中就出现了关于这一概念的页面）。然而尽管人们多年来一直在对此类方案进行探讨，我却发现很多企业实际上尚未就此规划出明确发展思路、甚至没能真正意识到其中蕴含的巨大效益。 为什么会这样？一大原因在于目前市场上的实时商务智能与分析工...
分类：
Web程序 时间：
2015-10-30 13:53:05
阅读次数：
234
1 背景 一个后台实时处理的业务平台，通常我们会根据数据的输入与输出，依据时间轴进行分解成不同阶段或不同粒度的逻辑任务，而每一个待处理的数据我们称为任务或者消息。任务之间的关系可以分为两类：a 上下游父子关系，b 可以并行运行的兄弟关系。具有上下游关系的任务集合具有逻辑或数据依赖关系，即上游任务.....
分类：
其他好文 时间：
2015-10-19 12:20:45
阅读次数：
170
复按照几个papers图像融合算法，诱导整个过程，与您分享(^_^)。基于sift的全景拼接方法的整个过程的大致流程：对需拼接的图像进行预处理。主要是几何校正和消噪。对于几何校正。因为我们考虑的是视频的实时处理，那么我们仅仅需考虑摄像机的全部运动形式，当中包括8个自由度。可用投影变换来表示。H=[m...
分类：
编程语言 时间：
2015-10-17 17:24:34
阅读次数：
179
Druid是一个用于大数据实时查询和分析的高容错、高性能开源分布式系统，旨在快速处理大规模的数据，并能够实现快速查询和分析。尤其是当发生代码部署、机器故障以及其他产品系统遇到宕机等情况时，Druid仍能够保持100%正常运行。创建Druid的最初意图主要是为了解决查询延迟问题，当时试图使用Hadoo...
分类：
其他好文 时间：
2015-09-21 11:51:38
阅读次数：
160
内容简介：腾讯的月活跃用户8.3亿微信月活跃用户4.4亿QQ空间月活跃用户6.5亿游戏月活跃用户过亿如今腾讯的数据分析已经能做到始终“不落地”，即全部的实时处理。腾讯大数据平台有如下核心模块：TDW、TRC、TDBank、TPR和 Gaia。简单来说，TDW用来做批量的离线计算，TRC负责做流式的实...
分类：
其他好文 时间：
2015-09-17 19:16:10
阅读次数：
360
Storm对流数据进行实时处理时，一种常见场景是批量一起处理一定数量的tuple元组，而不是每接收一个tuple就立刻处理一个tuple，这样可能是性能的考虑，或者是具体业务的需要。例如，批量查询或者更新数据库，如果每一条tuple生成一条sql执行一次数据库操作，数据量大的时候，效率会比批量处理的...
分类：
其他好文 时间：
2015-09-11 20:35:22
阅读次数：
189
