数据开发（持续梳理）

标签：数据   mysql   数据存储   可视化   开发   机器   相关   数据仓库   分布   

数据开发相关的经验不是很多，目前已自己对这块工作的理解，先初步整理下。

所谓数据开发是面向数据仓库的开发，所以结合一般数据仓库的架构主要有几个方面的生态内容。

1、数据采集

mysql等关系型数据的搜集

分布式日志搜集（flume、kafka）

2、数据存储

hdfs

3、数据计算（离线、实时）

mr、hive、spark、spark sql

spark streaming 、 storm

4、数据应用

BI系统、数据报表可视化、机器学习

数据开发（持续梳理）

标签：数据   mysql   数据存储   可视化   开发   机器   相关   数据仓库   分布   

原文地址：http://www.cnblogs.com/huilei/p/6506038.html