近年来，随着IT技术与大数据、机器学习、算法方向的不断发展，越来越多的企业都意识到了数据存在的价值，将数据作为自身宝贵的资产进行管理，利用大数据和机器学习能力去挖掘、识别、利用数据资产。如果缺乏有效的数据整体架构设计或者部分能力缺失，会导致业务层难以直接利用大数据大数据，大数据和业务产生了巨大的鸿沟，这道鸿沟的出现导致企业在使用大数据的过程中出现数据不可知、需求难实现、数据难共享等一系列问题，本文介绍了一些数据平台设计思路来帮助业务减少数据开发中的痛点和难点。
分类：
其他好文 时间：
2019-12-23 18:52:28
阅读次数：
96
本文内容根据演讲视频以及PPT整理而成。 双十一！=11.11 首先从双11说起，双11已经成为阿里巴巴最大的单日促销活动。双11活动可能对于消费者而言只是一天而已，但是对于阿里巴巴和数百万商家而言，却是一个非常长线的工作。站在阿里巴巴的角度来看双11，其实无论是从业务线还是技术线，背后都存在着很多 ...
分类：
其他好文 时间：
2019-12-20 18:33:47
阅读次数：
86
2019年中国三分之二的数据中心、IT基础设施支出流向中国本土厂商，北京智和信通作为国产化AIOps智能运维大数据平台解决方案提供商，率先支持纯国产操作系统上部署运行，智和网管平台SugarNMS以国产化、高拓展性为核心的AIOps智能运维管理软件成为行业的前沿力量。 ...
分类：
其他好文 时间：
2019-12-16 13:25:34
阅读次数：
141
Arthas是一个类似于Btrace的JVM在线调试分析工具，具体可参考我之前写的一篇博客：[利用JVM在线调试工具排查线上问题](https://blog.51cto.com/nxlhero/2441511)。本文分享笔者刚遇到的一个问题，虽然不复杂，但是很典型。
分类：
其他好文 时间：
2019-10-25 23:22:47
阅读次数：
107
http://km.ciozj.com/Detail.Aspx?AI=98315&CI=2 数据中台的概念非常接近传统数据仓库+大数据平台的结合体。它是在企业的数据建设经历了数据中心、数据仓库等积累之后，借助平台化的思路，将数据更好地进行整合与统一，以组件化的方式实现灵活 Part.1 马蜂窝数据仓 ...
分类：
其他好文 时间：
2019-10-20 11:21:00
阅读次数：
103
本课程是由猎豹移动大数据架构师，根据公司大数据平台的运维情况，精心设计和打磨的大数据必备Linux课程。通过本课程的学习大数据新手能够少走弯路，快速掌握Linux常用命令及Shell编程，为后续大数据课程的学习奠定了坚实的基础。 ...
分类：
系统相关 时间：
2019-10-13 11:05:21
阅读次数：
125
一、马蜂窝数据仓库与数据中台 最近几年，数据中台概念的热度一直不减。2018 年起，马蜂窝也开始了自己的数据中台探索之路。 数据中台到底是什么？要不要建？和数据仓库有什么本质的区别？相信很多企业都在关注这些问题。 我认为数据中台的概念非常接近传统数据仓库+大数据平台的结合体。它是在企业的数据建设经历 ...
分类：
其他好文 时间：
2019-10-08 15:51:37
阅读次数：
1113
一、大数据平台 大数据在工作中的应用有三种： 与决策相关，数据科学的领域，了解统计学、算法，这是数据科学家的范畴； 与工程相关，如何实施、如何实现、解决什么业务问题，这是数据工程师的工作。 数据工程师在业务和数据科学家之间搭建起实践的桥梁。本文要分享的大数据平台架构技术选型及场景运用偏向于工程方面。 ...
分类：
其他好文 时间：
2019-10-02 01:09:03
阅读次数：
203
1.配置Intellij idea -->file -->project structure -->artifacts -->+ -->jar -->from ... >main class选择主类 -->ok(spark-assembly.jar包比较大，可以删除，大数据平台已经安装了) -->o ...
分类：
编程语言 时间：
2019-09-30 14:32:46
阅读次数：
72
今天我们来看一下淘宝、美团和滴滴的大数据平台，一方面进一步学习大厂大数据平台的架构，另一方面也学习大厂的工程师如何画架构图。通过大厂的这些架构图，你就会发现，不但这些知名大厂的大数据平台设计方案大同小异，架构图的画法也有套路可以寻觅。 淘宝大数据平台 淘宝可能是中国互联网业界较早搭建了自己大数据平台 ...
分类：
其他好文 时间：
2019-09-30 12:59:28
阅读次数：
77
