如果现在要想将flume中的sink设置为kafka，因为在实际的开发中，可能会有若干个子系统或者若干个客户端进行flume日志采集，那么能够承受这种采集任务量的只有kafka来完成，可是需要注意一个问题，现在的kafka是采用了Kerberos认证，所以要想在flume之中去使用kafka操作，就 ...
分类：
Web程序 时间：
2020-07-03 01:11:20
阅读次数：
154
目录 一、Otter简介 二、Otter目前支持了什么 三、Canal & Otter 的一些注意事项 四、otter单向同步搭建测试 1. 环境准备 2. Manager使用（任务配置整个流程） 配置完整流程 3. 过程问题整理 3.1 Problem accessing /channelList ...
分类：
其他好文 时间：
2020-06-22 15:26:00
阅读次数：
469
这是一个基于Spring Boot + Vue的直播数据可视化系统，实现了直播数据的可视化展示、分级权限管理、警报数据流处理、报表的统计与文件导出、实时事件通知等功能。 后端地址：LBMS 前端地址：LBMS-Web 预览 **实时数据总览页：**该页面根据用户身份自动重定向。页面上方通过四个卡片展 ...
分类：
其他好文 时间：
2020-06-21 19:32:43
阅读次数：
129
InfluxDB是一个由InfluxData开发的开源时序型数据。它由Go写成，着力于高性能地查询与存储时序型数据。InfluxDB被广泛应用于存储系统的监控数据，IoT行业的实时数据等场景。 安装下载 官网界面打开js报错，所以点击下载没有什么效果，后来在网上查了下在网页中其实已经暴露出来了，需要 ...
分类：
数据库 时间：
2020-06-20 13:32:58
阅读次数：
67
根据IBM的统计报告显示，过去两年内，当今世界上90%的数据产生源于新设备、传感器以及技术的出现，数据增长率也会为此加速。而从技术上将，这意味着大数据领域，处理这些数据将变得更加复杂和具有挑战性。例如移动应用广告、欺诈检测、出租车预订、患者监控等场景处理时，需要对实时数据进行实时处理，以便做出快速可行的决策。目前业界有开源不少实时计算引擎，以Apache基金会的两款开源实时计算引擎最受欢迎，它们分
分类：
其他好文 时间：
2020-06-20 09:12:52
阅读次数：
230
一、kafka 介绍 1.1、kafka 介绍 Kafka 是一个分布式消息引擎与流处理平台，经常用做企业的消息总线、实时数据管道，有的还把它当做存储系统来使用。 早期 Kafka 的定位是一个高吞吐的分布式消息系统，目前则演变成了一个成熟的分布式消息引擎，以及流处理平台。 Kafka 主要起到削峰 ...
分类：
其他好文 时间：
2020-06-04 19:38:12
阅读次数：
162
什么是CCP（云数据采集）平台？图片来自于网络CCP（云数据采集）平台诞生于大数据时代的背景下，通过实时数据挖掘，在海量的云端数据中发现隐藏其中的价值。在线问卷系统，作为CCP（云数据采集）平台的信息采集接口，通过网络信息收集，帮助问卷设计者和数据分析师分析消费者在线上的行为特征和态度，批量而精确地抽取目标网页中的任何数据及任何信息，快速实现实时的信息获取。CCP（云数据采集）平台的数据采集工作能
分类：
Web程序 时间：
2020-05-28 18:11:16
阅读次数：
103
实时数据订阅与分发系统可以将业务数据源变更实时分发分发到消息总线上，并维护消息的统一格式，提供通用的客户端框架供消息生产者与下游业务接入。 一般能用于以下场景： 索引构建：MySQL到ES 缓存管理：MySQL到Redis或本地cache 数据库镜像 实时备份 价格变化等重要业务信息订阅 实时数据订 ...
分类：
其他好文 时间：
2020-05-28 00:42:10
阅读次数：
182
问题描述： 昨天晚上都下班了，突然领导发消息实时数据没有了，我去什么鬼，我记得我走的时候数据还是正常启动的，怎么就没数据那， 我们数据是通过flink 从kafka 消费数据，然后写入到hbase.怎么就没数据那什么情况。 然后我去yarn的资源管理器上面查看运行情况 发现，程序挂掉了，什么情况。好 ...
分类：
其他好文 时间：
2020-05-22 19:12:15
阅读次数：
88
随着信息时代的发展变迁，荧幕里呈现的智慧城市慢慢出现了在现实生活中，很大程度上便利了日常的管理和维护。在智慧城市的大背景下，智慧交通监管可视化系统是其重要的组成部分，通过一条条道路监控的串联，引申出一座智慧城市的管控，而在众多数据的维护中，实时数据、设备状态以及视频监控是极为重要的。其中视频监控一... ...
分类：
其他好文 时间：
2020-05-19 00:41:58
阅读次数：
65
