1.Spark概述 Apache Spark是一个闪电般快速的实时处理框架。它进行内存计算以实时分析数据。由于 Apache Hadoop MapReduce 仅执行批处理并且缺乏实时处理功能，因此它开始出现。因此，引入了Apache Spark，因为它可以实时执行流处理，也可以处理批处理。 除了实 ...
分类：
其他好文 时间：
2021-04-06 15:01:09
阅读次数：
0
Sublime Text 3 https://www.sublimetext.com/ Preferences --> Settings File Path: C:\Users\wuyong\AppData\Roaming\Sublime Text 3\Packages\User\Preferenc ...
分类：
其他好文 时间：
2021-04-05 12:36:42
阅读次数：
0
实时流式计算 Kafka Stream 2.1 概述 Kafka Stream是Apache Kafka从0.10版本引入的一个新Feature。它是提供了对存储于Kafka内的数据进行流式处理和分析的功能。 Kafka Stream的特点如下： Kafka Stream提供了一个非常简单而轻量的L ...
分类：
其他好文 时间：
2021-04-05 12:27:09
阅读次数：
0
本文已整理致我的 github 地址 https://github.com/allentofight/easy-cs，欢迎大家 star 支持一下 前言 近年来公司业务迅猛发展，数据量爆炸式增长，随之而来的的是海量数据查询等带来的挑战，我们需要数据量在十亿，甚至百亿级别的规模时依然能以秒级甚至毫秒级 ...
分类：
其他好文 时间：
2021-04-05 12:21:59
阅读次数：
0
1. 四种数据库的比较 数据库描述 Greenplum 开源大规模并行数据分析引擎。借助MPP架构，在大型数据集上执行复杂SQL分析的速度比很多解决方案都要快。应用广泛。 Teradata 大型数据仓库系统，产品成熟，价格昂贵。用于证券系统。 Presto 分布式SQL查询引擎， 专门进行高速、实时 ...
分类：
数据库 时间：
2021-04-05 12:00:18
阅读次数：
0
VR智慧线上工厂3D建模可视化三维模型大屏应用强化工厂安全保障为核心，建立智能自动化系统、远程监控系统、实时定位分析系统以及监控人员数据分析。商迪3DVR智慧线上工厂3D建模可视化三维模型大屏应用建设远程监控视频、指纹识别、周边安防系统、人员实时定位、智能手环、智能探头、温度检测等各类感知设备、实现 ...
分类：
其他好文 时间：
2021-03-31 12:16:30
阅读次数：
0
目前变电站电力人员现状，多数还停留在电力人员查巡和监视报警的现状，工作量大，信息化程度较低。商迪3DVR智慧变电站电力3D实景可视化大屏系统展示集成各类电力人员交互终端传输数据，可实时检测变电站电力人员数量、位置、分布、行走轨迹等信息，为变电站电力人员自愿的管理和调配提供支持。对于监控人员支持计远程 ...
分类：
其他好文 时间：
2021-03-30 13:54:24
阅读次数：
0
sql与nosql数据库的选择，考虑以下几个指标： 数据量 并发量 实时性 一致性要求 读写分离 安全性 运维性 根据这些个指标，软件系统可分为 管理型系统：运营类系统，sql 大流量系统：字段多、数据量增长块，nosql 日志型系统：es 搜索型系统：es 事务型系统：sql+缓存redis 离线 ...
分类：
数据库 时间：
2021-03-30 13:17:28
阅读次数：
0
1.1 定义 Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue） ， 主要应用于大数据实时处理领域 1.2 消息队列 1.2.1 传统消息队列的应用场景 ? 使用消息队列的好处 1） 解耦允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 2） ...
分类：
其他好文 时间：
2021-03-30 13:07:59
阅读次数：
0
Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。本系列将通过源码分析，和大家一起深入学习 Celery。本文是系列第二篇，继续探究 Celery 架构。 ...
分类：
其他好文 时间：
2021-03-29 12:19:38
阅读次数：
0
