导入：传统关系型数据库 >大数据平台的importmysql >hadoop--connect 指定关系型数据库链接url mysql:jdbc://hadoop02:3306/--username 指定数据库的用户名--password 指定数据库的密码--table 指定要导出数据的mysql数 ...
分类：
其他好文 时间：
2019-06-09 22:23:14
阅读次数：
107
唯品会HDFS性能挑战和优化实践 原创： 大数据平台 唯技术 4月1日 https://mp.weixin.qq.com/s/LMa99ubgACI4eaDV3G-6gw ...
分类：
其他好文 时间：
2019-05-28 23:56:43
阅读次数：
219
随着饿了么在大数据应用的不断深入，需要解决任务数量增长快、任务多样化、任务关系复杂、任务执行效率低及任务失败不可控等问题。 饿了么大数据平台现状：每天完成大数据任务计算 54000+;节点集群 85 台。 开源解决方案 Ooize Ooize 基于工作流调度引擎，是雅虎的开源项目，属于 Java W ...
分类：
其他好文 时间：
2019-05-20 17:16:43
阅读次数：
109
写在前面 GitDataV，是一个github“大数据可视化平台”，通过它你可以更直观的看到你在github里的一些数据，（之所以打双引号，是因为我觉得这个还没到大数据可视化的程度）。其实我在 上篇文章 分享的时候已经提到了这个想法，通过github提供的接口，做一个自己的“大数据分析页面”，所以我 ...
分类：
其他好文 时间：
2019-05-18 15:54:26
阅读次数：
205
https://mp.weixin.qq.com/s/ph7qxvoeDDNRvwUnuL5WRQ 独家解读：魅族数据平台的设计哲学和核心架构 InfoQ 2018-01-29 ...
分类：
其他好文 时间：
2019-05-13 09:18:23
阅读次数：
137
大数据在某种意义上说比云计算更适合大众，比如很多人说大数据是生产力、未来是数据时代，但很少听到云计算是生产力、未来是计算时代。从市场需求和职业岗位来看大数据也一直是个很热门的行业。 作为技术人员，你是否有过转行大数据的想法，是否知道转行大数据的发展路线？ 1）数据平台研发路线 ? 职责：主要负责大数 ...
分类：
其他好文 时间：
2019-05-08 09:39:11
阅读次数：
119
大数 据 主要 具有 四方 面的 典型 特征—— 规模 性（ Volume）、 多样性（ Variety）、 高速 性（ Velocity） 和 价值 性（ Value）， 即 所谓 的" 4V"。 大数据时代的关键技术：（1） 大数 据 采集 技术（2） 大 数据 预处理 技术（3） 大数 据 存... ...
分类：
其他好文 时间：
2019-05-03 18:46:39
阅读次数：
288
小结： 1、 https://mp.weixin.qq.com/s/4rkgisFRJxokXZ4lyFXujw 京东JDK在大数据平台的探索与研究 臧琳 亿级流量网站架构 3月11日 ...
分类：
数据库 时间：
2019-04-26 14:51:55
阅读次数：
219
J 为了满足日益增长的业务变化，京东的京麦团队在京东大数据平台的基础上，采用了hadoop等热门的开源大数据计算引擎，打造了一款为京东运营和产品提供决策性的数据类产品-北斗平台。 一、Hadoop的应用业务分析 大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具，而是涉及 ...
分类：
其他好文 时间：
2019-04-23 15:43:25
阅读次数：
177
编者按：本文是松子（李博源）的大数据平台发展史系列文章的第二篇（共四篇），本系列以独特的视角，比较了非互联网和互联网两个时代以及传统与非传统两个行业。是对数据平台发展的一个回忆，对非互联网、互联网，从数据平台的用户角度、数据架构演进、模型等进行了阐述。 前言，”数据模型“ 这个词只要是跟数据沾边就会 ...
分类：
其他好文 时间：
2019-04-11 14:36:31
阅读次数：
132
