1 背景 用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器，做一层中转便可以实现，但当这份文件非常大到了10GB级别，我们就需要思考另一种 ...
分类：
Web程序 时间：
2019-09-16 16:05:57
阅读次数：
119
1 背景 用户本地有一份txt或者csv文件，无论是从业务数据库导出、还是其他途径获取，当需要使用蚂蚁的大数据分析工具进行数据加工、挖掘和共创应用的时候，首先要将本地文件上传至ODPS，普通的小文件通过浏览器上传至服务器，做一层中转便可以实现，但当这份文件非常大到了10GB级别，我们就需要思考另一种 ...
分类：
Web程序 时间：
2019-08-14 17:28:17
阅读次数：
135
1.什么是DataX ? DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 2. DataX的设计 为了解决异构数据源同步问题，DataX将复 ...
分类：
其他好文 时间：
2019-07-15 01:23:43
阅读次数：
555
分布式缓存 1 Redis和Memcached有什么区别? redis支持服务端的数据操作，Memcached需要将数据取回到客户端修改后再set回去 redis拥有更丰富的数据结构与操作api 使用简单的key-value存储的话,Memcached的内存利用率更高，但是如果使用hash结构的话, ...
分类：
其他好文 时间：
2019-07-12 12:56:53
阅读次数：
113
https://help.aliyun.com/product/27797.htmlmaxCompute(大数据计算服务，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全MaxCompute主要服务于批量结构化数据的存储和计算，可以
分类：
其他好文 时间：
2019-05-29 16:19:25
阅读次数：
169
MaxCompute 是阿里EB级计算平台，经过十年磨砺，它成为阿里巴巴集团数据中台的计算核心和阿里云大数据的基础服务。去年MaxCompute 做了哪些工作，这些工作背后的原因是什么？大数据市场进入普惠+红海的新阶段，如何与生态发展共赢？人工智能进入井喷阶段，如何支持与借力？本文从过去一年的总结， ...
分类：
其他好文 时间：
2019-04-20 09:42:49
阅读次数：
881
基本操作： 查询： 更新： 表关联： 演示内容： 使用DML： *查询已有数据 *使用表连接查询数据 *覆盖更新 *追加更新 others.... ...
分类：
数据库 时间：
2019-04-13 19:06:25
阅读次数：
227
使用MaxCompute Console的同学，可能都使用过MaxCompute安全相关的命令。官方文档上有详细的MaxCompute安全指南，并给出了安全相关语句汇总。简而言之，权限管理、列级别访问控制、项目空间安全配置以及跨项目空间的资源分享都属于 odps 安全命令相关的范畴。
分类：
编程语言 时间：
2019-01-24 16:26:09
阅读次数：
199
这里主要介绍从MongoDB同步数据到ODPS。ruby环境的搭建以及fluent_plugin_mongo_odps插件的安装。 ...
分类：
其他好文 时间：
2019-01-15 14:24:44
阅读次数：
352
大家好，今天跟大家分享的内容是传统数据库迁移到阿里云odps遇到的那点坑；问题描述：传统数据库oracle向阿里云odps迁移数据库的时候，速率刚开始正常，后观察到，在传输过程中，速率越来越慢；解决思路：1.查看了管控容器里面的日志，没有发现问题；2.查看了当时网络的联通性，网络也没有问题，连接正常；3.查看了同步任务的容器，没有发现任务问题；4.后协调odps专家进行了会诊，经过排查，是因为底层
分类：
其他好文 时间：
2018-12-12 23:44:36
阅读次数：
216
