第一节
互联网电商大数据环境
如果你真正进入这个行业了！
入职后你所在部门一般叫：数据平台、数据中心、数据部
可能的团队：数据仓库组；BI（商业智能）组、某事业部数据组；架构组；数据专家组；...
部门里重要的几拨人，一拨是搭建和保证hadoop系统每天正常运行和改进hadoop系统的架构人员，这批人对hadoop细节非常熟悉，另一拨是满足业务系统需求，每天都在开发应用的开发人员，这批人...
分类：
其他好文 时间：
2016-07-13 17:04:48
阅读次数：
344
上次实现了flume＋kafka＋hbase＋ELK：http://www.cnblogs.com/super-d2/p/5486739.html 这次我们可以加上storm: storm-0.9.5简单配置如下： 安装依赖 安装 Python 安装 zookeeper wget http://mi ...
分类：
数据库 时间：
2016-07-12 13:38:43
阅读次数：
427
前言：马总说过这是一个DT的时代，一个从IT到DT转变的时代。确实这几年到处都能听到诸如“云计算”、“大数据”、“上云”的谈论，确实随着云计算的兴起，依托于相对低成本、高稳定性的云设施构建平台的成本越来越低，越来越多的公司都在推数据相关的平台、产品。如阿里、京东、百度、腾讯，以及一些打着大数据旗号的创业公司都有出自己的数据平台和产品，用户依托于平台确实大大降低了数据处理、使用的难度，降低了从数据挖掘...
分类：
其他好文 时间：
2016-07-03 19:54:43
阅读次数：
242
Hadoop 图形化用户界面 Hue 大数据可视化工具 Nanocubes 企业大数据平台 RedHadoop 大数据查询引擎 PrestoDB Hadoop集群监控工具 HTools 安全大数据分析框架 OpenSOC 分布式数据仓库系统 Apache Tajo 数据管道服务 Suro 开源大数据 ...
分类：
其他好文 时间：
2016-07-01 06:39:58
阅读次数：
231
实时计算平台中的弹性集群资源管理 本文系微博运维数据平台（DIP）在实时计算平台的研发过程中集群资源管理方面的一些经验总结和运用，主要关注以下几个问题： 异构资源如何整合？ 实时计算应用之间的物理资源如何隔离？ 集群资源利用率如何提高？ 集群运维成本如何降低？ 1. 背景 这是我们初期的一个实时计算 ...
分类：
其他好文 时间：
2016-07-01 01:14:50
阅读次数：
396
本文系微博运维数据平台（DIP）在实时计算平台的研发过程中集群资源管理方面的一些经验总结和运用，主要关注以下几个问题： 异构资源如何整合？ 实时计算应用之间的物理资源如何隔离？ 集群资源利用率如何提高？ 集群运维成本如何降低？ 1. 背景 这是我们初期的一个实时计算架构，大致划分为三个部分： （1） ...
分类：
其他好文 时间：
2016-06-26 19:41:34
阅读次数：
202
GapMinder:在线互动图表数据平台是一个将国际统计数据转换成活动的、交互的和有趣的图表，以在线统计数据为基础的互动图表集的完美世界。目的是通过增进对可以自由访问的公共统计数据的使用和理解，以促进以事实为基础的世界观察。 Gapminder是由一家瑞典的非营利组织开发而成，2007年三月Goog ...
分类：
其他好文 时间：
2016-06-21 19:04:33
阅读次数：
1756
本文系微博运维数据平台（DIP）在Flume方面的优化扩展经验总结，在使用Flume FileChannel的场景下将吞吐率由10M/s~20M/s提升至80M/s~90M/s，分为四个部分进行介绍： 应用场景 Flume实例架构 Flume调试及优化扩展 Flume Todo 生产环境部署 1. ...
分类：
Web程序 时间：
2016-06-21 12:16:52
阅读次数：
2259
SQL Server 2008是一个重大的产品版本，它推出了许多新的特性和关键的改进，使得它成为至今为止的最强大和最全面的SQL Server版本。 在现今数据的世界里，公司要获得成功和不断发展，他们需要定位主要的数据趋势的愿景。微软的这个数据平台愿景帮助公司满足这些数据爆炸和下一代数据驱动 应用程 ...
分类：
数据库 时间：
2016-06-17 00:34:41
阅读次数：
197
创建和管理架构创建表FILESTREAM、SPATIAL和DATE/TIME三种数据类型创建计算列定义约束，加强数据完整性为压缩和稀疏行/列配置数据存储选项任何数据库以及数据平台的目的都是为了存储和管理数据。对象的名称，即标识符。有两种标识符：常规(regular)标识符和分隔(delimited)标识..
分类：
数据库 时间：
2016-06-11 16:04:58
阅读次数：
212
