1. 说明 在企业应用系统领域，会面对不同系统之间的通信、集成与整合，尤其当面临异构系统时，这种分布式的调用与通信变得越发重要。其次，系统中一般会有很多对实时性要求不高的但是执行起来比较较耗时的地方，比如发送短信，邮件提醒，更新文章阅读计数，记录用户操作日志等等，如果实时处理的话，在用户访问量比较大 ...
Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。
Storm也可被用于“连续计算”（continuous
computation），对数据流做连续查询，在计算时就将结果以流的形式输出给用户。它还可被用于“..
分类：
Web程序 时间：
2017-03-04 14:30:59
阅读次数：
208
故事的起因是这样的：因有需求对前端传来的文件进行实时处理，要求是实时用厂家的SDK请求处理这些文件，将结果实时写入后端数据库，所以写了实时转发程序A，原理采用了内核的inotify机制，监测上传目录下有文件创建后执行消费处理，nohupA放在后台实时守护处理，消费程序M和N为..
分类：
其他好文 时间：
2017-02-17 21:54:40
阅读次数：
200
今天我们讲spark streaming的应用,这个是实时处理的，类似于Storm以及Flink相关的知识点, 说来也巧,今天的自己也去听了关于Flink的相关的讲座,可惜自己没有听得特别清楚,好像是 spark streaming与flink是竞争关系,好了,我们进入今天的主题吧 1.一般会做用户 ...
分类：
其他好文 时间：
2017-01-19 22:51:44
阅读次数：
233
企业已无法应对非结构化数据和传感器数据在数量与种类上的迅速增长。因而，他们迫切需要增进大数据分析的专业知识和能力，以保持竞争力。在当今这个以客户为先的时代，工业化规模的分析能力和数据驱动型洞察能力是企业生存的关键，数据必须进行实时处理。这也是大多数企业面临的挑战。 ...
分类：
其他好文 时间：
2017-01-03 18:52:08
阅读次数：
189
1 Storm介绍 Storm是由Twitter开源的分布式、高容错的实时处理系统，它的出现令持续不断的流计算变得容易，弥补了Hadoop批处理所不能满足的实时要求。Storm常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。 在Storm的集群里面有两种节点：控制节点(Mas ...
分类：
其他好文 时间：
2016-12-30 09:25:22
阅读次数：
628
一、简介Elasticsearch是个基于Lucene实现的开源、分布式、restful的全文本搜索引擎，此外他还是一个分布式实时文档存储，其中每个文档的每个filed均是可被索引的数据，且可被搜索，也是一个带实时分析功能的搜索引擎，能够扩展至数以百计的节点实时处理PB级别的数据。它的特点..
分类：
其他好文 时间：
2016-12-08 12:00:54
阅读次数：
346
这个Python脚本是用来对实时文件的内容监控，比如 Error 或者 time out 字段都可以进行自定义；算是我的第一个真正的Python脚本，自己感觉还是比较臃肿，不过打算放到blog上记录一下（还是初学者，大神们勿喷哈），真心希望博友们能够再指点一下(现在记录每次的文件大小值是输出到了一个 ...
分类：
编程语言 时间：
2016-11-21 08:26:34
阅读次数：
224
在企业应用系统领域，会面对不同系统之间的通信、集成与整合，尤其当面临异构系统时，这种分布式的调用与通信变得越发重要。其次，系统中一般会有很多对实时性要求不高的但是执行起来比较较耗时的地方，比如发送短信，邮件提醒，更新文章阅读计数，记录用户操作日志等等，如果实时处理的话，在用户访问量比较大的情况下，对 ...
分类：
Web程序 时间：
2016-11-02 20:23:51
阅读次数：
283
Apache Spark，一个内存数据处理的框架，现在是一个顶级Apache项目。 这是Spark迈向稳定的重要一步，因为它越来越多地在下一代大数据应用中取代MapReduce。 MapReduce是有趣并且非常有用的，但现在看来Spark开始从它手中接过缰绳，成为新的Hadoop工作负载的主要处理 ...
分类：
其他好文 时间：
2016-10-27 23:33:55
阅读次数：
209
