通常说的大数据平台主要包括三部分： 数据相关的工具、产品和技术： – 批量数据采集传输sqoop，spark – 离线数据处理Hadoop，Hive，Spark – 实时流处理Storm，Spark Streaming，Flink ? 数据资产： – 公司业务本身产生和沉淀的数据 – 公司运作产生的 ...
分类：
其他好文 时间：
2019-07-25 00:46:13
阅读次数：
176
在电商领域，推荐的价值在于挖掘用户潜在购买需求，缩短用户到商品的距离，提升用户的购物体验。 京东推荐的演进史是绚丽多彩的。京东的推荐起步于2012年，当时的推荐产品甚至是基于规则匹配做的。整个推荐产品线组合就像一个个松散的原始部落一样，部落与部落之前没有任何工程、算法的交集。 2013年，国内大数据 ...
分类：
其他好文 时间：
2019-07-22 13:13:44
阅读次数：
150
课程大纲： 1、storm的基本介绍 2、storm的架构模型 3、storm的安装 4、storm的UI管理界面 5、storm的编程模型 6、storm的入门程序 7、storm的并行度 8、storm的消息的分发策略 9、strom与kafka的集成 搞定 10、 实时看板综合案例 1、 st ...
分类：
其他好文 时间：
2019-07-22 00:06:28
阅读次数：
120
本文将学习如何使用java创建Storm拓扑并将其部署到Storm集群。 Storm集群的组件 Storm集群类似于Hadoop集群，只不过 Hadoop 上运行"MapReduce jobs"， Storm 上运行"topologies"。 两者最大的差别是，MapReducejobs 最终是完成 ...
分类：
其他好文 时间：
2019-07-19 12:40:50
阅读次数：
96
storm整合kafka后出现如下异常： 错误原因：有部分kafka服务器连接不上导致，检查一下是不是每个kafka都能连接到（有的kafka配置使用的是host，记得配置相同的环境） 造成异常代码段：org.apache.storm.kafka.ZkCoordinator.refresh() ...
分类：
编程语言 时间：
2019-07-17 00:45:08
阅读次数：
148
1.概述 Kafka Eagle是一款开源的Kafka集群监控系统，源代码托管在Github。目前Kafka Eagle已更新到V1.3.4版本，域名已经统一更新为http://www.kafka-eagle.org/，之前的下载地址和官网使用手册地址均已替换，例如http://download.s ...
分类：
其他好文 时间：
2019-07-14 21:27:33
阅读次数：
204
小白还是自己写一遍吧 1.下载node.js https://nodejs.org/en/download/ 2.安装淘宝镜像（类似于阿里云的maven中央仓库镜像） 安装时间有点长 安装命令：npm install -g cnpm --registry=https://registry.npm.t ...
分类：
Web程序 时间：
2019-07-13 15:01:46
阅读次数：
156
1.Flink 概述 1.1 流处理技术的演变 在开源世界里，Apache Storm 项目是流处理的先锋。Storm 最早由 Nathan Marz 和创业公司 BackType 的一个团队开发，后来才被 Apache 基金会接纳。Storm 提供 了低延迟的流处理，但是它为实时性付出了一些代价： ...
分类：
其他好文 时间：
2019-07-12 21:18:06
阅读次数：
181
从技术栈的角度，我们的选择和大多数互联网公司一致，从早期的 Storm，到 JStorm， Spark Streaming 和最近兴起的 Flink。从发展阶段来说，主要经历了两个阶段，起步阶段和平台化阶段；下面将按照下图中的时间线，介绍实时计算在有赞的发展历程。
分类：
其他好文 时间：
2019-07-12 00:48:10
阅读次数：
141
1.产生虚拟日志 package les7.readFileTopo; import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.util.Random; public ...
分类：
其他好文 时间：
2019-07-11 12:59:00
阅读次数：
134
