一、概述 数据设计，往往包含两个环节： 第一个：就是我们的上游数据，就是数据调研环节看到的项目基于的基础数据，是否要针对其开发一些Hive ETL，对数据进行进一步的处理和转换，从而让我们能够更加方便的和快速的去计算和执行spark作业； 第二个：就是要设计spark作业要保存结果数据的业务表的结构 ...
分类：
其他好文 时间：
2018-05-21 12:25:25
阅读次数：
190
Metrics+ElasticSearch+grafana——性能监控解决方案 https://blog.csdn.net/Shiyaru1314/article/details/76906461 利用Metrics+ElasticSearch+grafana来构建监控平台 Metrics 采集数据 ...
分类：
其他好文 时间：
2018-05-19 17:10:09
阅读次数：
275
三字经开头就讲, 教之道，贵以专, 我很早就意识到我最大的问题, 局势是没有做到专, 贪念太重, 自身才智不足以支撑太广的涉猎, 知道问题归知道, 犹如抽烟上瘾的人, 明知道吸烟有害, 但仍找抽不误. 从系统研发/数据平台/研发体系都是一把抓, Delphi/C#/Java/Python都花过不少时 ...
分类：
其他好文 时间：
2018-05-18 22:51:32
阅读次数：
237
以大快的DKH为基础，增加数据可视化，异构数据全文搜索，跨平台数据整合，NLP以及人工只能等基础功能，面向大中型企业及政府机构，提供的基于大数据与云计算技术的新一代跨平台数据中心解决方案。
分类：
其他好文 时间：
2018-05-18 16:23:05
阅读次数：
178
一、简介 oozie是hadoop平台开源的工作流调度引擎，用来管理hadoop作业，属于web应用程序，由oozie server 和oozie client构成。 oozie server运行与tomcat容器中 oozie的工作流必须是一个有向无环图，当用户需要执行多个关联的MapReduce ...
分类：
其他好文 时间：
2018-05-16 00:46:29
阅读次数：
260
大数据平台基础框架是很多初学者必然要掌握的内容，大数据太过抽象，有时候写分享的时候难免感觉写的很多困难。还是通过具体的案例来写会比较好理解。关于大数据平台基础框架我还是用自己熟悉的DKhadoop为例。
分类：
其他好文 时间：
2018-05-15 17:38:54
阅读次数：
120
大数据平台基础框架是很多初学者必然要掌握的内容，大数据太过抽象，有时候写分享的时候难免感觉写的很多困难。还是通过具体的案例来写会比较好理解。关于大数据平台基础框架我还是用自己熟悉的DKhadoop为例。 ...
分类：
其他好文 时间：
2018-05-15 12:19:45
阅读次数：
165
本文转载自公众号 DBAplus社群 ， 作者：谢麟炯 谢麟炯，唯品会大数据平台高级技术架构经理，主要负责大数据自助多维分析平台，离线数据开发平台及分析引擎团队的开发和管理工作，加入唯品会以来还曾负责流量基础数据的采集和数据仓库建设以及移动流量分析等数据产品的工作。 海量数据实时OLAP场景的困境 ...
分类：
其他好文 时间：
2018-05-14 16:53:24
阅读次数：
196
国内提供大数据平台架构的组织机构总体上来说不是很多，主要也是由于大数据开发偏底层，技术难度太大限制了它的普及程度。但能够提供政务大数据解决方案的也是有一些的，这里就简单介绍下大快搜索的政务大数据解决方案，以供学习参考。 ...
分类：
其他好文 时间：
2018-05-11 20:29:54
阅读次数：
185
国内提供大数据平台架构的组织机构总体上来说不是很多，主要也是由于大数据开发偏底层，技术难度太大限制了它的普及程度。但能够提供政务大数据解决方案的也是有一些的，这里就简单介绍下大快搜索的政务大数据解决方案，以供学习参考。
分类：
其他好文 时间：
2018-05-11 20:13:20
阅读次数：
173
