大数据分析技术MR ：离线计算框架Storm ：实时计算框架Spark ：内存计算框架YARN 基本架构ResourceManager? 处理客户端请求? 启动/ 监控ApplicationMaster? 监控NodeManager? 资源分配与调度NodeManager? 单个节点上的资源管理? ...
分类：
其他好文 时间：
2014-08-02 09:57:33
阅读次数：
285
海量数据处理使用的大多是鼎鼎大名的hadoop或者hive，作为一个批处理系统，hadoop以其吞吐量大、自动容错等优点，在海量数据处理上得到了广泛的使用。但是，hadoop不擅长实时计算，因为它天然就是为批处理而生的，这也是业界一致的共识。否则最近这两年也不会有s4,storm,puma这些实时计...
分类：
其他好文 时间：
2014-07-11 10:00:17
阅读次数：
213
# Storm介绍
Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。 Storm也可被用于“连续计算”（continuous computation），对数据流做连续查询，在计算时就将结果以流的形式输出给用户。它还可被用于“分布式RPC”，以并行的方式运行昂贵的运算。 Storm的主工程师Nathan Marz表示：
Storm可以方便地在一个计算机集群中编写与扩展复杂的实时计算，Storm之于实时处理，就好比Hadoo...
分类：
编程语言 时间：
2014-07-08 15:48:49
阅读次数：
633
uptime,top查看系统负载情况在多处理器系统中，负载阀值是基于内核的数量计算，按100%负载计算，1表示单个处理器，而2则说明有两个双处理器，那么4.00就说明主机具有四个处理器。4.00*2大于4.00*2超过这个阀值就表示系统过载了LoadAverage实时计算公式:load(t)=（load(t-1)e^(-..
分类：
其他好文 时间：
2014-07-08 08:16:14
阅读次数：
224
Apache Storm是一个免费、开源、分布式的实时计算系统。相对于Hadoop适用于批处理而言，利用Storm可以非常容易地对流式数据进行实时可靠处理。Storm使用简单，支持多种编程语言且非常有趣！...
分类：
其他好文 时间：
2014-06-26 14:20:52
阅读次数：
294
Storm官方文档分为几个部分：
第一部分，主要是有关Storm的一些入门介绍，具体涉及四个子项：前言、使用教程、环境安装、工程示例
第二部分，主要是一些专题介绍，针对Storm框架的一些核心内容进行深入讲解。因此，相对于第一部分而言，要深入一些，具体涉及三个子项：使用指南、Java doc、FAQ
第三部分，介绍如何从社区中获取帮助。
第四部分，介绍Storm周边生态。
对于前两部...
分类：
其他好文 时间：
2014-06-26 07:16:57
阅读次数：
239
广义地说，Unity有2种光源。1.动态光源 2.Backed Lighting1.动态光源就是实时计算的。只要摆光源就可以了2.Backed Lighting提前处理好光照贴图。贴在物体上。Point: 角度无关紧要Directional: 位置无关紧要Spot: 角度和位置都有影响Area (B...
分类：
其他好文 时间：
2014-06-23 00:54:24
阅读次数：
258
前言为啥写这篇文章？因为我现在做的这套实时计算系统在公司里很难玩下去了。去年年初来到ctrip，主要就是做两个实时应用，一个是实时报警，功能是做出来了，但应用效果不好；一个是XXX（敏感应用，不敢写出来，以XXX代替），也是实现了功能需求，但想继续按自己的思路往下走是不可能了，我捉急的表达能力很难让...
分类：
其他好文 时间：
2014-06-09 13:02:27
阅读次数：
676
