大数据多维分析平台的实践 一、 大数据多维分析平台搭建的初心 随着公司业务量的增长,基于传统关系型数据库搭建的各种报表查询分析系统,性能下降明显。同时由于大数据平台的的日趋完善,实时的核心业务数据逐步进入大数据平台。数据进入了大数据平台,相伴而来的是各种业务需求,这里主要聚焦在如何高效稳定的基于大数 ...
分类:
其他好文 时间:
2019-06-23 22:56:23
阅读次数:
183
一、ELK 介绍 二、ELK的几种常见架构 一、ELK 介绍 二、ELK的几种常见架构 >>ELK 介绍<< ELK 构建在开源基础之上,让您能够安全可靠地获取任何来源、任何格式的数据,并且能够实时地对数据进行搜索、分析和可视化。 最近查看 ELK 官方网站,发现新一代的日志采集器 Filebeat ...
分类:
其他好文 时间:
2019-06-19 00:24:14
阅读次数:
126
1.下载安装JDK,并配置环境变量 将下面的内容添加至文件末尾: JAVA_HOME=/usr/local/jdk1.8.0_111JRE_HOME=/usr/local/jdk1.8.0_111/jreCLASSPATH=.:$JAVA_HOME/lib:/dt.jar:$JAVA_HOME/li ...
分类:
其他好文 时间:
2019-06-11 13:06:10
阅读次数:
108
1. 引言 本周精读内容是: "《数据之上 智慧之光》" ,由帆软软件公司出品。 帆软公司是国内一家做大数据 BI 和分析平台的提供商,主打产品是 "FineBI" 。笔者所在阿里数据中台也处于数据分析应用的前沿,本次精读的文章就是帆软公司的 《数据之上 智慧之光 2018》,感谢提供这份国内数据市 ...
分类:
其他好文 时间:
2019-06-10 09:29:16
阅读次数:
120
摘要:美图拥有十亿级用户,每天有数千万用户在使用美图的各个产品,从而积累了大量的用户数据。随着App的不断迭代与用户的快速膨胀,产品、运营、市场等越来越依赖于数据来优化产品功能、跟踪运营效果,分析用户行为等,随之而来的有越来越多的数据统计、分析等需求,那么如何应对和满足不断膨胀的数据统计与分析需求? ...
分类:
其他好文 时间:
2019-06-06 21:03:01
阅读次数:
112
结合理论和实践,《Hadoop权威指南第四版》由浅入深,全方位介绍了Hadoop 这一高性能的海量数据处理和分析平台。5部分24 章,第Ⅰ部分介绍Hadoop 基础知识,第Ⅱ部分介绍MapReduce,第Ⅲ部分介绍Hadoop 的运维,第Ⅳ部分介绍Hadoop 相关开源项目,第Ⅴ部分提供了三个案例。 ...
分类:
其他好文 时间:
2019-06-04 19:21:46
阅读次数:
317
小结: 1、 一个有追求的程序员的话,可能不会甘于每天做重复的工作。因为在平时接触业务与实现过程中,深有体会统计业务逻辑的流程基本上是一致的,所以考虑抽象出这样一个相对通用的业务处理的流程,基本的流程是从数据源Query出数据,然后做一些业务方面的聚合或者过滤,最终把数据存储到DB。那在代码实现层面 ...
分类:
其他好文 时间:
2019-05-13 09:26:50
阅读次数:
116
一、ELK 介绍 ELK 构建在开源基础之上,让您能够安全可靠地获取任何来源、任何格式的数据,并且能够实时地对数据进行搜索、分析和可视化。 最近查看 ELK 官方网站,发现新一代的日志采集器 Filebeat,他是 Beats 家族其中的一员,性能超越 logstash,部署简单,占用资源少,可以很 ...
分类:
其他好文 时间:
2019-05-10 16:23:53
阅读次数:
242
AJPFX恒指: 日线上昨天收取一根倒垂线,日线上方受阻于高点的28700压制。日线上周一低开了很大一缺口也没有能够昨天走出回补趋势,日线上还是偏向大空头行情。K线运行在布林带中轨,布林带开口张口偏下。下方macd在零轴下方死叉运行,绿色动能柱,指标弱势稍强,四小时级别分析周一开盘低开后小幅冲高,... ...
分类:
其他好文 时间:
2019-05-02 18:31:47
阅读次数:
118
线上流量红利逐渐消失的今天,产品的获客成本从几元,飙升到了现在的几百元,甚至上千元,流量大战悄然打响!而“微信社会”中的小程序,凭借着离消费者一指之遥的距离,成为商家不被淘汰的制胜法宝。2019年4月,开源的用户行为分析厂商Cobub推出全渠道的用户增长利器—C4J,即CobubforJava,全新一代低成本、私有化、全渠道、高性能的用户行分析平台。新增对小程序模块的统计分析,实现了产品多渠道数据
分类:
微信 时间:
2019-04-17 19:41:42
阅读次数:
358