好几天没有写博客了,现在也很晚了一直要求自己要早睡可是总也做不到。不扯了说一件今天碰到的一个小问题,可能对高手来说都不是问题但是对于我这种刚接触linux而且也没什么老师就靠自己学的还真的就没什么小问题。还真的整整弄了1个多小时。事情的背景是这样的我最近在研究服务器的实时数据备份inotify+rsync经过这段时间可以说基本搞定了,看到好多地方都在说用sersync好像更好一些就下了一个配置了一
分类:
其他好文 时间:
2018-05-26 10:52:13
阅读次数:
384
1、使用聚合取最新的实时数据(每一个测站有多条数据,取日期最新的数据。也就是每个测站取最新的值) 2、普通的按照排序取最新的数据 如果一个测站一个表名 ...
分类:
数据库 时间:
2018-05-24 16:28:38
阅读次数:
260
kafka概述 1. Apache Kafka是一个开源 消息 系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2. Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供 ...
分类:
其他好文 时间:
2018-05-16 19:46:21
阅读次数:
479
安装安装mysqlconnector http://www.mysql.com/products/connector/ /* 配置mysqlconnector ODBC数据管理器->系统DSN->添加->mysql ODBC 5.3 ANSI driver->填入data source name如j ...
分类:
数据库 时间:
2018-05-12 12:41:05
阅读次数:
242
本文主要是我在刚开始学习 SignalR 的技术总结,网上找的学习方法和例子大多只是翻译了官方给的一个例子,并没有给出其他一些经典情况的示例,所以才有了本文总结,我在实现推送简单的数据后,就想到了如何去推送复杂的数据,以及推送一个实时的图表数据,文本为我原创,转载请注明出处:Richard.Hu,先 ...
前言 本文将使用一个NuGet公开的组件技术来实现数据订阅推送功能,由服务器进行推送数据,客户端订阅指定的数据后,即可以接收服务器推送过来的数据,包含了自动重连功能,使用非常方便 nuget地址:https://www.nuget.org/packages/HslCommunication/ git ...
转自 https://blog.csdn.net/u010039929/article/details/74217793 并且参照了 https://blog.csdn.net/songjifei/article/details/54311927 说明: hbase适合2中类型的查询一种是实时数据的 ...
分类:
其他好文 时间:
2018-05-03 10:22:44
阅读次数:
346
作者:有点文链接:https://www.zhihu.com/question/21677041/answer/185664626来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 先放结论:Hbase和Hive在大数据架构中处在不同位置,Hbase主要解决实时数据查询问 ...
分类:
其他好文 时间:
2018-04-29 19:55:56
阅读次数:
156
概念 实时流式计算: 大数据环境下,流式数据将作为一种新型的数据类型,这种数据具有连续性、无限性和瞬时性。是实时数据处理所面向的数据类型,对这种流式数据的实时计算就是实时流式计算。 特征 实时流式计算与传统的数据处理技术不同,其具有一下特点: 低延迟:从处理的数据角度来看,每一条数据都可以在有限的时 ...
分类:
其他好文 时间:
2018-04-23 22:38:43
阅读次数:
168
Hadoop基础,HDFS,MapReduce,分布式集群,Hive,Hbase,Sqoop,Pig,Storm实时数据处理平台,Spark平台 ...
分类:
其他好文 时间:
2018-04-08 19:46:50
阅读次数:
159