SuperMap 在9月份发布了结合大数据技术的9D新产品，今天就和大家介绍下iServer9D中的实时数据服务。 1、技术框架 结合Spark的streaming流处理框架，将各种数据进行批量处理、存储。 2、处理的流程 iServer9D的实时数据服务可以通过各种通讯协议对来自互联网、物联网等实 ...
分类：
其他好文 时间：
2017-10-27 18:08:34
阅读次数：
739
摘要：Apache Spark的出现让普通人也具备了大数据及实时数据分析能力。鉴于此，本文通过动手实战操作演示带领大家快速地入门学习Spark。本文是Apache Spark入门系列教程（共四部分）的第一部分。 Apache Spark的出现让普通人也具备了大数据及实时数据分析能力。鉴于此，本文通过 ...
分类：
Web程序 时间：
2017-10-25 19:42:27
阅读次数：
234
第一象限：CantoolApp能够对接收到的多个CAN信息，通过CAN信息及CAN信号数据库进行解析，将CAN信息原始数据进行显示。并能对CAN信息中的CAN信号的物理值实时数据进行显示。第二象限：能够指定要发送的多个CAN信息，并允许用户设定CAN信息中的CAN信号物理值。可以指定CAN信息的发送 ...
分类：
其他好文 时间：
2017-10-15 19:41:54
阅读次数：
124
一直想趁着知乎还比较开放爬点数据做分析，因为懒延期至今。 爬虫由Java实现，放在服务器上跑了三四天，可以说是龟速了，毕竟爬虫和反爬虫就是应该友好相处的嘛，反反爬虫和反反反爬虫互相伤害就没意思了。 从我的关注列表向外爬了两圈，数据是上周(2017,9.11))的，所以下面的报道可能和实时数据有些偏差 ...
分类：
其他好文 时间：
2017-10-15 11:26:48
阅读次数：
185
Spark Streaming 是core Spark的一个扩展，用来处理实时数据流，数据源可以来自Kafka, Flume, HDFS等，经过复杂的算法处理后，存入HDFS，数据库，或者实时的Dashboards. 从内部来看，Spark Streaming把进来的流式数据切成一小块一小块，然后再 ...
分类：
其他好文 时间：
2017-10-13 10:14:41
阅读次数：
160
Live Memory 1、Class Tracker 展示类或包的实例个数与时间的关系。需要录制才可以看到。 1）可以添加指定的类或包。 2、All Objects 查看所有类的实例个数和大小。可以过滤自己关注的类或包名。显示实时数据 1）可以通过"Mark Current Values"来对比实 ...
分类：
其他好文 时间：
2017-10-12 21:37:33
阅读次数：
127
对于长时间运行的Spark Streaming作业，一旦提交到YARN群集便需要永久运行，直到有意停止。任何中断都会引起严重的处理延迟，并可能导致数据丢失或重复。YARN和Apache Spark都不是为了执行长时间运行的服务而设计的。但是，它们已经成功地满足了近实时数据处理作业的常驻需求。成功并不 ...
分类：
其他好文 时间：
2017-10-02 10:35:03
阅读次数：
277
1. 作用 简单概述就是CDC(change data capture),实时数据分析领域用的比较多 2. 简单使用（基于官网的docker 说明） 备注： 测试没有使用守护进程模式为了方便测试 a. zookeeper docker run -it --rm --name zookeeper -p ...
分类：
其他好文 时间：
2017-10-01 12:21:30
阅读次数：
291
Spark Streaming 是 Spark Core API 的扩展, 它支持弹性的, 高吞吐的, 容错的实时数据流的处理. 数据可以通过多种数据源获取, 例如 Kafka, Flume, Kinesis 以及 TCP sockets, 也可以通过例如 map, reduce, join, wi... ...
分类：
Web程序 时间：
2017-09-26 21:03:35
阅读次数：
248
概述 Spark Streaming 是 Spark Core API 的扩展, 它支持弹性的, 高吞吐的, 容错的实时数据流的处理. 数据可以通过多种数据源获取, 例如 Kafka, Flume, Kinesis 以及 TCP sockets, 也可以通过例如 map, reduce, join,... ...
分类：
Web程序 时间：
2017-09-21 18:02:24
阅读次数：
292
