http://www.chinahadoop.cn/page/developer什么是大数据开发师？围绕大数据系平台系统级的研发人员， 熟练Hadoop、Spark、Storm等主流大数据平台的核心框架。深入掌握如何编写MapReduce的作业及作业流的管理完成对数据的计算，并能够使用Hadoop提...
分类：
其他好文 时间：
2014-12-14 19:54:40
阅读次数：
280
信息时代，大数据平台承载了来自于个人计算机、移动智能终端、可穿戴设备、智能家居设备及智能汽车等个人、企业及国家层面的巨大数据资源，必然成为黑客组织、各类敌对势力网络攻击的重要目标。...
分类：
其他好文 时间：
2014-12-02 15:15:44
阅读次数：
242
课程大纲：第1周Hadoop生态系统概述以及版本演化概要介绍Hadoop生态系统及其版本演化历史，并给出hadoop版本选择建议。第2周HDFS2.0原理、特性与基本架构介绍HDFS2.0原理与架构，并与HDFS1.0进行对比。介绍HDFS2.0新特性，包括快照、缓存、异构存储架构等第3周YARN应用场景、基..
分类：
其他好文 时间：
2014-11-30 00:59:15
阅读次数：
544
大数据平台下经常建立设计多个节点的集群需要统一部署，这就设计到守护进程或者部署脚本在不同节点执行，如果能在master机器上，统一执行脚本，一次性启动整个集群的服务，感觉很nice。因为，分享如下内容：前提条件： 配置ssh免密码登陆对于简单的命令： 如果是在远端节点执行几个命令，则：ssh...
分类：
系统相关 时间：
2014-11-26 15:48:58
阅读次数：
817
Galaxy是阿里数据平台事业部，实时计算组自研的增量计算框架。今年双十一，阿里直播大屏就是Galaxy支持和保障的重要业务之一，相信大家可能看过双十一之后网上一些介绍性的文章了，比如阿里研发实时计算平台 每秒运算量将超千万，不过这篇文章面向非技术人员，最后的比喻也是有点醉。还这篇比较新的 阿里巴巴实时数据公共层助力双11媒体直播。
本文我会介绍一些我认为可以公开出来说的galaxy技术上的特点，让技术人员对该计算框架有个更准确的认识。...
分类：
其他好文 时间：
2014-11-22 12:04:57
阅读次数：
391
1.1 产品概述
VDataHub基于Apache Sqoop，最初定位是用于将关系数据库中的数据导入Hadoop/Hive/HBase。Sqoop基于Hadoop的MapReduce来完成数据导入导出工作，提供了很好的容错性。刚开始项目组也仅仅直接采用社区版本来完成数据导入导出。但在使用过程中，我们发现有很多地方是Sqoop现有版本没法支持的，如果不解决，是不能用于现有数据平台建设中的。
基...
分类：
其他好文 时间：
2014-11-21 18:50:54
阅读次数：
317
业界领先的实时数据集成工具GoldenGate现在可以帮助企业在传统数据库和云平台、大数据平台之间进行实时复制。新的OGG 12c支持更多的异构数据库和大数据平台，进一步提升可管理性和对混合云的支持。主要新特性如下：一个新的streams迁移工具: Streams2OGG，帮助streams用户迁....
分类：
其他好文 时间：
2014-11-19 12:31:10
阅读次数：
230
IT部门在进行ＩＴ运维产品选购时，虽然不是什么纠结的事，但是没有选择好，对于你以后在公司的运维工作生活将会寝食难安，你再后悔当初选购时没有生死决择已经晚了，所以在初期会有一个大方向需求，我综合多年和客户沟通需求大数据平台分析，会告诉你在进行IT运维管理时，应该..
分类：
其他好文 时间：
2014-11-14 18:07:06
阅读次数：
398
从业务发展需求，大数据平台需要使用spark作为机器学习、数据挖掘、实时计算等工作，所以决定使用Cloudera Manager5.2.0版本和CDH5。
以前搭建过Cloudera Manager4.8.2和CDH4，在搭建Cloudera Manager5.2.0版本的时候，发现相应的Service Host Monitor 和 Service Monitor不能配置外部表，刚开是还以为是配置出错，后来才发现应该是新版本的Cloudera的存储改变方式了。查了很多文档，果然发现，新版本中Service ...
分类：
数据库 时间：
2014-11-14 12:39:43
阅读次数：
316
数据集成是当下比較热门的话题，相关的产品和平台也越来越多。非常多CIO都在各种数据集成平台和产品之间犹豫不决。因此对数据集成平台的框架体系有全面的理解，对各个厂家产品所提供的功能有深入的认识才干为数据平台选型的决策提供可靠的保证。我有幸參与了国内一个知名企业的集成平台的设计工作，并主导了数据集成平台...
分类：
其他好文 时间：
2014-11-05 17:04:57
阅读次数：
264
