1，WebSocket和Http的区别？ HTTP只能由客户端发起通信，不能主动获取实时数据。常用的方法轮询，就是用一个定时器，不停地发http请求（非常浪费资源）。 我们希望的场景是这样的：服务端数据发生变化，主动向客户端推送最新信息，客户端也可以主动向服务器发送信息。这个时候 服务器推送技术We ...
分类：
Web程序 时间：
2019-05-21 11:28:54
阅读次数：
157
mapreduce就是分合的管理艺术，先分开计算，再合并归总 推荐系统大概流程 用kafka做实时数据读写，实现实时分析 加上机器学习的推荐 ...
分类：
其他好文 时间：
2019-05-10 16:26:49
阅读次数：
72
Kafka 一、Kafka是什么 kafka一般用来缓存数据。 1、开源消息系统 2、最初是LinkedIn公司开发，2011年开源。2012年10月从Apache Incubator毕业。 项目目标是为处理实时数据，提供一个统一、高通量、低等待的平台。 3、Kafka是一个分布式消息队列。 消息根 ...
分类：
其他好文 时间：
2019-05-01 14:52:51
阅读次数：
120
在大数据的各种框架中，hadoop无疑是大数据的主流，但是随着电商企业的发展，hadoop只适用于一些离线数据的处理，无法应对一些实时数据的处理分析，我们需要一些实时计算框架来分析数据。因此出现了很多流式实时计算框架，比如Storm，Spark Streaming，Samaz等框架，本文主要讲解Sp ...
分类：
其他好文 时间：
2019-04-30 17:19:01
阅读次数：
208
应用背景 1.采集系统需要将实时数据存入历史表，利用mysql的事件，每小时存一次采集数据； 2.每个月1号凌晨1点，将历史表备份，名称命名为his_aic_20190501 01:00，将原表清空。 1.历史表备份 1.1存储过程 BEGIN INSERT INTO his_dic (Parent ...
分类：
数据库 时间：
2019-04-28 12:48:21
阅读次数：
192
前言 最近在开发订单对账系统，先从各种支付平台获取订单销售数据，然后与公司商城订单数据进行对账兜底。总体上，各个支付平台提供数据的方式分为两类，一般以接口的方式提供实时数据，比如：webservice、NVP、restfull api，以文件服务的方式提供周期性数据，比如：SFTP。接口的方式比较简 ...
分类：
Web程序 时间：
2019-04-28 09:55:32
阅读次数：
190
Kafka Kafka 核心概念 什么是 Kafka Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”，这使它作为企业级 ...
分类：
其他好文 时间：
2019-04-27 00:30:46
阅读次数：
118
适合范围：storm自由开源的分布式实时计算系统，擅长处理海量数据。适合处理实时数据而不是批处理。 安装前的准备 1.安装zookeeper ①下载zookeeperhttps://zookeeper.apache.org/,点击download进入新页面之后， >download，选择一个镜像文件 ...
goaccess 是一个不错的日志分析工具，包含了json 数据同时支持基于websocket 的实时数据处理，当然我们可以通过jsonpath 的exporter 转换为支持promethues 的metrics，还是很方便的 环境准备 docker-compose 文件 version: "3"... ...
分类：
数据库 时间：
2019-04-11 13:20:44
阅读次数：
556
Spark 一种基于内存的快速、通用、可扩展的大数据分析引擎； 内置模块： Spark Core(封装了rdd、任务调度、内存管理、错误恢复、与存储系统交互)； Spark SQL(处理结构化数据)、Spark Streaming(对实时数据进行流式计算) 、 Spark Mlib（机器学习程序库包 ...
分类：
其他好文 时间：
2019-04-06 00:35:59
阅读次数：
155
