在最新版本的ODI中，通过使用各种知识模块，可在统一的界面上实现对传统数据库、hive, pig, spark, hdfs等的ETL操作，满足在同一系统或采用相同的方式实现ETL功能。详细的内容可参考：http://www.oracle.com/technetwork/database/bigdat...
分类：
数据库 时间：
2015-02-25 15:33:48
阅读次数：
140
信息架构： 成本与架构度量 大数据对信息架构的影响 大数据架构： Oracle的大数据架构逻辑视图： 大数据开发流程 大数据的角色与功能 数据治理 案例：保险 大数据关联与分析 关联与分析 概念视图 数据流 希望您对大数据平台有帮助。 企业应用之性能实时度量系统演变 云计算参考架构几例 智能移动导游...
分类：
其他好文 时间：
2015-02-20 11:57:15
阅读次数：
473
前言“只要站在风口，猪也能飞起来”，这碗心灵鸡汤不知道激励了多少英雄豪杰踏上寻风口之路。而现如今，Docker这阵龙卷风呼啸来袭，更让众人生起迎风而上、直冲云霄的欲望。为了找到这风口，数据平台部开始全面拥抱Docker，基于多年的大数据集群管理经验，倾力打造DockerOnGaia云平台（简称Gaia云），并动员将数平自身的核心系统Lhotse、Hermes、Hive、TRE、TDBank等全面接入...
分类：
其他好文 时间：
2015-02-12 18:36:38
阅读次数：
296
中国大数据技术大会首日全体大会上，腾讯数据平台部助理总经理蒋杰发表了题为《大数据处理的规模化与实时化演进 》的演讲。他分享了大数据技术在腾讯的实践，其中包括基于Hadoop的平台TDW、实时数据收集系统TDBank以及基于Storm的流处理系统TRC。同时，蒋杰还透露，腾讯将在12月开源内部的Had...
分类：
其他好文 时间：
2015-02-09 12:47:57
阅读次数：
177
引言数据平台目前通过Hive SQL的方式提供数据分析服务，系统使用多台HiveServer（JDBCServer）接收客户端连接请求，实际使用场景中频频出现HiveServer内存消耗过多导致机器Swap过高，需要重启HiveServer来缓解问题，但在某些任务比较集中的时间段往往会导致大量任务执...
分类：
其他好文 时间：
2015-02-05 19:59:56
阅读次数：
300
本文将企业大数据体系的构建分为六个层级，但并非是线性过程，每个层级之间或有基础关系，但并不是说一定要逐层构建。例如创业型公司，在缺乏数据研发实力的时候，多数会借助第三方平台进行数据上报与分析。下面一张图，是本文的精华概括，后面一一展开与大家探讨。一、数据基础平台基础的数据平台建设工作，包含数据平台建...
分类：
其他好文 时间：
2015-01-31 14:32:13
阅读次数：
178
简介 在确定投资大数据解决方案之前，评估可用于分析的数据；通过分析这些数据而获得的洞察；以及可用于定义、设计、创建和部署大数据平台的资源。询问正确的问题是一个不错的起点。使用本文中的问题将指导您完成调查。答案将揭示该数据和您尝试解决的问题的更多特征。 尽管组织一般情况对需要分析的数据类型有一些模.....
分类：
其他好文 时间：
2015-01-30 10:22:20
阅读次数：
286
传统IT公司可能最核心的应用就是Web服务器和各种Web应用。得益于开源系统以及大数据理念的盛行，大大小小的公司逐渐形成了数据采集、存储、计算一体化的相似而又不同的架构。而在这些架构之上，我们可以丰富自己主营业务或者产品线的各种应用，或者说，技术团队有了这样的平台，我们可以更加方便的搭建各种应用.....
分类：
其他好文 时间：
2015-01-29 20:58:48
阅读次数：
262
1、产品概述
Hive作为大数据时代的数据仓库工具，使我们分析处理海量结构化数据成为可能。越来越多的公司和机构都将Hive作为应对大数据分析的强有力工具。但使用中，比较明显的问题便是当存在多个应用同时使用同一Hive的时候，如何有效控制彼此的数据安全，如何更方便使用Hive UDF的扩展机制。
当然，作为大数据平台开发过程中也同样遇到这些问题。整个公司不同业务方的数据汇聚到数据平台后，对数据的...
分类：
其他好文 时间：
2015-01-27 11:15:53
阅读次数：
192
云计算、互联网、移动互联网、大数据、平台化等都是一种技术或工具，所谓的XX思维大部分都是国内抄国外的，小的抄大的，慢的抄快的，但没有关系，只要你能让多方共赢，并圈人圈钱，你就是牛逼的成功，然后莫名其妙的大众会将你神化，你所说的即便是很普通的一句话都会变化经典或教科书，因此回到朋友栋哥所说的话：做平台做产品做服务先别想技术，先想通想清楚商业思维和执行路径，我们要做可持续性的东西，就好象滚雪球那越滚越...
分类：
其他好文 时间：
2015-01-15 08:11:34
阅读次数：
200
