Storm分布式实时流计算框架相关技术总结 Storm作为一个开源的分布式实时流计算框架，其内部实现使用了一些常用的技术，这里是对这些技术及其在Storm中作用的概括介绍。以此为基础，后续再深入了解Storm的内部实现细节。1. Zookeeper集群 Zookeeper是一个针对大型分布式系统.....
分类：
其他好文 时间：
2015-04-02 18:21:15
阅读次数：
117
这里对目前业界开源的一些实时流处理系统做一次小结，作为日后进行技术调研的参考资料。S4S4(Simple Scalable Streaming System)是Yahoo最新发布的一个开源流计算平台，它是一个通用的、分布式的、可扩展性良好、具有分区容错能力、支持插件的分布式流计算平台，在该平台上程序...
分类：
其他好文 时间：
2015-03-27 23:45:09
阅读次数：
164
Storm流计算从入门到精通之技术篇(高并发策略、批处理事务、Trident精解、运维监控、企业场景)课程讲师：Cloudy课程分类：大数据适合人群：初级课时数量：28课时用到技术：Storm集群、Zookeeper集群等涉及项目：网站PV、UV案例实战、其他案例咨询qq：1840215592课程亮...
分类：
其他好文 时间：
2015-03-12 18:38:12
阅读次数：
311
潮流计算目标：计算节点电压和相角，进而计算线路功率。 有功和相角联系紧密，无功和电压联系紧密。有功流动方向总是由相角大的流向相角小的。 无功流动方向总是由电压高的流向电压低的。 BPA出现潮流由低电压向高电压流分析： 根据上面的分析，这是由于电压低的向相角大，而电压高的相角小，从而有功功率由相角大....
分类：
其他好文 时间：
2015-03-07 22:38:21
阅读次数：
221
前言spark与hadoop的比较我就不多说了，除了对硬件的要求稍高，spark应该是完胜hadoop（Map/Reduce）的。storm与spark都可以用于流计算，但storm对应的场景是毫秒级的统计与计算，而spark（stream）对应的是秒级的。这是主要的差别。一般很少有对实时要求那么高...
分类：
其他好文 时间：
2015-02-13 16:09:25
阅读次数：
132
该项目分析了目前主流分布式通讯相关开源产品中使用的No Schema序列化产品Kryo，Fastjson，Hessian的序列化机制，通过构造相对比较复杂的数据model，针对序列化size，序列化时间进行了细致测试。通过测试报告可以清晰的看出Kryo无疑是大赢家，无论是序列化大小，还是速度上都更胜一筹，这也就不难理解为什么Spark,Storm等流计算框架会选它作为序列化工具。另外，可以看出这三款软件在BitSet，EnumSet等特殊类型的序列化上还有不少问题，作者也给Kryo，Fastjson社区提了...
分类：
其他好文 时间：
2015-01-07 18:49:57
阅读次数：
151
一、到底什么是Spark？Spark是一个通用的大数据计算平台，基于“OneStacktorulethemall”的理念成功成为了一体化多元化的大数据处理平台，轻松应对大数据处理中的实时流计算、SQL交互式查询、机器学习和图计算等：Spark源于BDAS:基于该技术堆栈，Spark目前已经成为大数据...
分类：
其他好文 时间：
2014-12-26 14:16:41
阅读次数：
149
一、概要
1.1 Storm(简介)
Storm是一个实时的可靠地分布式流计算框架。
具体就不多说了，举个例子，它的一个典型的大数据实时计算应用场景：从Kafka消息队列读取消息（可以是logs,clicks,sensor data）、通过Storm对消息进行计算聚合等预处理、把处理结果持久化到NoSQL数据库或者HDFS做进一步深入分析。
1.2 Tride...
分类：
Windows程序 时间：
2014-11-14 15:42:08
阅读次数：
2971
一、概要
1.1 Storm(简介)
Storm是一个实时的可靠地分布式流计算框架。
具体就不多说了，举个例子，它的一个典型的大数据实时计算应用场景：从Kafka消息队列读取消息（可以是logs,clicks,sensor data）、通过Storm对消息进行计算聚合等预处理、把处理结果持久化到NoSQL数据库或者HDFS做进一步深入分析。...
分类：
其他好文 时间：
2014-11-14 14:15:48
阅读次数：
291
-Java培训、Android培训、iOS培训、.Net培训、期待与您交流！ -------计算代码总行数思路：1.判断给出的路径是文件还是文件夹 2.如果是文件，用\n把文件分割成一个数组，计算数组元素个数就可以得出文件总行数 如果是文件夹，获得文件夹的所有内容，包括文件和文件夹，...
分类：
其他好文 时间：
2014-10-09 14:13:13
阅读次数：
235
