storm是一条一条数据处理，spark是一批数据处理的，storm才是真正意义的实时数据处理。 1、fileBeat类似flume用来采集日志的，fileBeat是轻量级的，对性能消化不大，而flume比较消化性能。 2、fileBeat会实时监控前端机，然后把数据实时写到Kafka集群里面。 3 ...
分类：
其他好文 时间：
2017-06-09 11:07:26
阅读次数：
260
转自：http://www.cnblogs.com/yurunmiao/p/5195754.html 目前平台使用Kafka + Flume的方式进行实时数据接入，Kafka中的数据由业务方负责写入，这些数据一部分由Spark Streaming进行流式计算；另一部分数据则经由Flume存储至HDF ...
分类：
Web程序 时间：
2017-05-14 15:26:39
阅读次数：
365
【搜狐IT消息】北京时间6月22日消息，据国外媒体报道，本达奈尔（BenDarnell）刚刚在谷歌的Tornado群组宣布，开源网络服务框架Tornado推出2.0版。Tornado是用Pyhton语言开发的实时网络服务框架，它支持上万次的不间断连接，因此也支持以长轮询（long-polling）方式发布实时数据..
分类：
其他好文 时间：
2017-05-14 10:34:46
阅读次数：
116
ServerSuperIO支持设备驱动和OPC Client采集的数据信息按标签集合写入mysql、oracle、sqlserver和sqlite数据库。现在还支持写入实时数据库，例如：edna、golden和corert等。同时支持实时数据库和关系数据库主要考虑项目环境和支撑的能力。 本质上还是... ...
分类：
数据库 时间：
2017-05-12 16:35:09
阅读次数：
276
ElasticSearch是开源搜索平台的新成员，实时数据分析的神器。可以理解为作为搜索的数据库，可以提供搜索功能。对比关系型数据库，具有以下的相似关系： 一个ES集群可以包含多个索引（数据库），每个索引又包含了很多类型（表），类型中包含了很多文档（行），每个文档又包含了很多字段（列）。 如果要实现 ...
分类：
其他好文 时间：
2017-05-07 19:50:33
阅读次数：
2008
一、Spark Streaming的介绍??Spark Streaming是Spark 核心API的扩展，可实现实时数据流的可扩展，高吞吐量，容错流处理。 数据可以从诸如Kafka，Flume，Kin...
分类：
其他好文 时间：
2017-05-05 01:05:21
阅读次数：
348
最近在给公司做一个报表展示，然后领导要求上面加上一些股票的实时数据展示。 一开始同事给我一个聚合数据的网址，说从这上面可以获取到。我一看，哟呵，API接口什么的都提供好了，确实方便。然后想用的时候才发现，首先要注册，然后根据使用量还要开会员什么的，还有一些审核的过程，一下子就感觉好麻烦了！ 后来有别 ...
分类：
Web程序 时间：
2017-04-29 16:21:29
阅读次数：
240
inotify简介inotify是一种强大的、细粒度的、异步的文件系统事件监控机制，Linux内核从2.6.13开始引入，允许监控程序打开一个独立文件描述符，并针对事件集监控一个或者多个文件，例如打开、关闭、移动/重命名、删除、创建或者改变属性。配置inotify需要rsync服务能直接传输数..
分类：
其他好文 时间：
2017-04-18 11:41:10
阅读次数：
214
云时代，许多互联网服务增加，对基础设施（Infrastructure）的性能与生涯确切的了解时，才能提供稳定的服务。通过，实时数据采集，性能的整个生命周期管理，既分析统计处理，资源的扩展和优化的时机与方式，预先判断并执行。基于云监测（CloudBasedMonitoring）庞数据，提供的..
分类：
其他好文 时间：
2017-04-18 00:09:17
阅读次数：
164
关于 Docker 容器的监控，google cAdvisor 是个很好的工具，但是它默认只显示实时数据，不储存历史数据。为了存储和显示历史数据、自定义展示图，可以把将cAdvisor与InfluxDB、Grafana 集成起来。 需要的镜像： tutum/influxdb google/cadvi ...
分类：
数据库 时间：
2017-04-14 20:35:59
阅读次数：
351
