1.配置Intellij idea -->file -->project structure -->artifacts -->+ -->jar -->from ... >main class选择主类 -->ok(spark-assembly.jar包比较大，可以删除，大数据平台已经安装了) -->o ...
分类：
编程语言 时间：
2019-09-30 14:32:46
阅读次数：
72
今天我们来看一下淘宝、美团和滴滴的大数据平台，一方面进一步学习大厂大数据平台的架构，另一方面也学习大厂的工程师如何画架构图。通过大厂的这些架构图，你就会发现，不但这些知名大厂的大数据平台设计方案大同小异，架构图的画法也有套路可以寻觅。 淘宝大数据平台 淘宝可能是中国互联网业界较早搭建了自己大数据平台 ...
分类：
其他好文 时间：
2019-09-30 12:59:28
阅读次数：
77
tushare是一个开放的，免费的金融数据平台,包含沪深股票数据，指数数据，基金数据，期货数据，期权数据，债券数据，外汇数据，港股数据，行业经济数据，宏观经济数据以及新闻快讯等特色数据。其中以沪深股票数据最为丰富，包含了有： 基础数据 股票列表 交易日历 股票曾用名 沪深股通成分股 上市公司基本信息 ...
分类：
其他好文 时间：
2019-09-28 14:39:28
阅读次数：
775
声明:本文参考了淘宝/滴滴/美团发表的关于大数据平台建设的文章基础上予以整理。参考链接和作者在文末给出。 在此对三家公司的技术人员无私奉献精神表示感谢，如果文章造成了侵权行为，请联系本人删除。本人在尊重事实的基础上重新组织了语言和内容，旨在给读者揭开一个完善的大数据平台的组成和发展过程。 本文在未经 ...
分类：
其他好文 时间：
2019-09-13 17:30:56
阅读次数：
122
kafka是基于构建实时数据管道和数据流的应用。具有实时横向扩展、高吞吐量、支持大量堆积具有容错性和速度快等特点。它是一个高性能分布式消息系统。通常一个分布式流数据平台它具有三个特点： 发布和订阅功能，类似于消息系统 以容错的方式记录流 处理流 OpdenDJ 为企业提供了一个高性能，高可靠性的身份 ...
分类：
其他好文 时间：
2019-09-05 23:09:30
阅读次数：
100
Mock.js: 前后端分离之后，前端迫切需要一种机制，不再需要依赖后端接口开发，而mockjs就可以做到这一点 Mock.js是一个模拟数据的生成器，用来帮助前端调试开发、进行前后端的原型分离以及用来提高自动化测试效率。 众所周知Mock.js因为两个重要的特性风靡前端: 数据类型丰富 支持生成随 ...
分类：
其他好文 时间：
2019-08-29 21:44:53
阅读次数：
135
