本文为您介绍如何利用DataWorks数据集成直接从MongoDB提取JSON字段到MaxCompute。
分类：
数据库 时间：
2018-11-30 17:28:13
阅读次数：
234
概述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。
分类：
其他好文 时间：
2018-11-13 20:39:57
阅读次数：
245
一、简介 核心接口包括：AliyunAccount，MaxCompute（SDK中使用原名ODPS）等常见对象组件 更多参见文档：https://help.aliyun.com/document_detail/34614.html?spm=a2c4g.11174283.6.693.2c36590e8 ...
分类：
编程语言 时间：
2018-09-18 19:20:07
阅读次数：
494
一、概述 DataWorks数据工场，是MaxComputer的可视化开发平台，一站式开发、管理界面 1.功能概述 1.强大调度：支持分钟到月的调度 2.多种任务：支持ODPS、SHELL等多种任务 3.可视化开发：B/S架构的可视化开发界面，简单易上手 2.基本概念 1.任务 0个或多个表作为输入 ...
分类：
数据库 时间：
2018-08-26 12:32:41
阅读次数：
2244
from odps import ODPS o = ODPS(access_id="LTAbds3aOF3ghjek", secret_access_key="FezndszVvtEgcpzPUZHIT9vyWyX7W", project="satori", endpoint="http://ser... ...
分类：
其他好文 时间：
2018-08-25 16:23:16
阅读次数：
216
一. DataX3.0概览 DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 设计理念 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星 ...
分类：
其他好文 时间：
2018-07-02 14:16:41
阅读次数：
452
一、背景介绍 最近几天，接到公司的一个将当前大数据平台数据全部迁移到阿里云ODPS平台上的任务。而申请的这个ODPS平台是属于政务内网的，因考虑到安全问题当前的大数据平台与阿里云ODPS的网络是不通的，所以不能使用数据采集工作流模板。 然而，考虑到原大数据平台数据量并不是很大，可以通过将原大数据平台 ...
分类：
其他好文 时间：
2018-06-27 18:58:59
阅读次数：
239
(一)建表规约 1.【强制】表达是与否概念的字段，必须使用 is_xxx的方式命名，数据类型是 unsigned tinyint（ 1表示是，0表示否），此规则同样适用于 odps建表。 说明：任何字段如果为非负数，必须是 unsigned。 个人备注： Open Data Processing S ...
分类：
数据库 时间：
2017-10-18 12:36:27
阅读次数：
210
云计算理解 到底什么事云计算，至少可以找到100种解释 现在广泛接受的是美国国家标准与技术研究院的定义 NIST定义： 云计算是一种按使用量付费的模式。这种模式提供可以用的 便捷的，按需的网络访问，进入可配置的计算资源共享池 资源包括网络，服务器，存储，应用程序，服务，这些资源能够快速提供 只需投入 ...
分类：
其他好文 时间：
2017-10-16 23:21:30
阅读次数：
228
1. DBCP连接池 2. c3p0连接池（参见上一篇的使用步骤http://www.cnblogs.com/qlqwjy/p/7545012.html） ...
分类：
数据库 时间：
2017-09-18 22:27:11
阅读次数：
220
