第一步：需要安装JDK。 JDK下载地址： http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 第二步：配置环境变量，需要配置3个环境变量 那环境变量怎么配呢？看下面的图片： 在系统变 ...
分类：
编程语言 时间：
2017-09-08 20:41:50
阅读次数：
258
MaxCompute Studio是阿里云MaxCompute（原ODPS）平台提供的安装在开发者客户端的大数据集成开发环境（IDE）工具，是一套基于流行的集成开发平台 IntelliJ IDEA 的开发插件，帮助用户方便地进行数据开发。ODPS客户端是一个命令行工具，通过它可以访问MaxCompu ...
分类：
其他好文 时间：
2017-09-06 22:57:45
阅读次数：
273
1.创建分区表： 分区表有自己的分区列，而分区表则没有。 public static void createTableWithPartition(Odps odps, String createTableName) throws Exception { Tables tables = odps.ta ...
分类：
其他好文 时间：
2017-06-05 12:36:52
阅读次数：
1232
本文从背景、分布式文件系统、容错机制、分布式节点距离计算法则、数据分布策略、分布式计算调度、跨IDC集群规划的两种方式、ODPS跨集群数据依赖等方面深度介绍了分布式大数据系统中全局数据调度和管理。 大数据技能 分布式大数据系统巧实现，全局数据调度管理不再难 作者：大数据史记 大规模数据的分布式机器学 ...
分类：
其他好文 时间：
2017-05-22 16:39:07
阅读次数：
211
本文从背景、分布式文件系统、容错机制、分布式节点距离计算法则、数据分布策略、分布式计算调度、跨IDC集群规划的两种方式、ODPS跨集群数据依赖等方面深度介绍了分布式大数据系统中全局数据调度和管理。 ...
分类：
其他好文 时间：
2017-05-19 15:42:30
阅读次数：
202
PyOdps 0.4版本，DataFrame API支持使用pandas进行本地计算，用户因此能join ODPS和本地数据，也能进行本地debug，另外还有MapReduce API等新特性 ...
分类：
其他好文 时间：
2017-03-17 19:33:44
阅读次数：
332
还在为传统 DBMS 的性能问题而烦恼？想借助 ODPS 的分布计算能力？但是你又不想学习官方的 SDK ？如果你恰好在老项目中用了 JDBC 访问 Oracle 或 MySQL？那么你可能对这篇文章感兴趣。本文将结合几种常见的使用场景（数据查询、数据导入、第三方客户端工具）来介绍odps-jdbc ...
分类：
数据库 时间：
2017-03-17 18:46:32
阅读次数：
697
阿里云开源离线同步工具DataX3.0介绍 一. DataX3.0概览 ? DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 ...
分类：
其他好文 时间：
2017-03-17 17:38:39
阅读次数：
417
转载自xiaorui 部分用户(尤其对外输出)使用MaxCompute(原Odps)时，由于对产品的使用层面和执行层面了解程度不同，导致提交的任务执行时间过长、占用了较多集群资源；严重的会导致失败、不仅需要投入支持同学精力协助解决、也影响了用户正常业务。 合并整理部分性能提升方法方 ...
分类：
数据库 时间：
2017-03-17 16:44:54
阅读次数：
320
这篇文章主要是给外部用户介绍如何使用RODPS的 （一）概念介绍 RODPS能够提供一个桥接的方式，使得可以在R语言环境中无缝的使用MaxCompute(原ODPS)里面的数据、计算资源，类似于开源社区的RHive和Rhadoop的功能。 （二）安装R基础环境 2.1 Linux serve ...
分类：
其他好文 时间：
2017-03-17 16:03:28
阅读次数：
220
