大数据平台是对海量结构化、非结构化、半机构化数据进行采集、存储、计算、统计、分析处理的一系列技术平台。大数据平台处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据仓库工具无法处理完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的各 ...
分类：
其他好文 时间：
2019-07-02 13:26:42
阅读次数：
126
TiDB在特来电的探索 一、 为什么研究TiDB 特来电大数据平台通过开源与自研相结合的方式,目前已经上线多套集群满足不同的业务需求.目前在大数据存储和计算方面主要使用了Hbase、Elasticsearch、Druid、Spark、Flink.大数据技术可谓是百花齐放,百花齐放 百家争鸣,不同的技 ...
分类：
数据库 时间：
2019-06-23 23:03:59
阅读次数：
272
大数据多维分析平台的实践 一、 大数据多维分析平台搭建的初心 随着公司业务量的增长，基于传统关系型数据库搭建的各种报表查询分析系统，性能下降明显。同时由于大数据平台的的日趋完善，实时的核心业务数据逐步进入大数据平台。数据进入了大数据平台，相伴而来的是各种业务需求，这里主要聚焦在如何高效稳定的基于大数 ...
分类：
其他好文 时间：
2019-06-23 22:56:23
阅读次数：
183
主机角色表 Node1： Node2： Node3： Node4： Node5： ...
分类：
其他好文 时间：
2019-06-19 23:26:28
阅读次数：
125
【导读】数据采集是进行大数据分析的前提也是必要条件，在整个流程中占据重要地位。本文将介绍大数据三种采集形式：系统日志采集法、网络数据采集法以及其他数据采集法。（一）系统日志采集法系统日志是记录系统中硬件、软件和系统问题的信息，同时还可以监视系统中发生的事件。用户可以通过它来检查错误发生的原因，或者寻找受到***时***者留下的痕迹。系统日志包括系统日志、应用程序日志和安全日志。（百度百科）大数据平台或
分类：
其他好文 时间：
2019-06-19 12:02:23
阅读次数：
149
阅读文章:阿里如何实现秒级百万TPS？搜索离线大数据平台架构解读 文章网址：https://mp.weixin.qq.com/s?__biz=MzIzOTU0NTQ0MA==&mid=2247488245&idx=1&sn=1c70a32f11da7916cb402933fb65dd9f&chksm ...
分类：
其他好文 时间：
2019-06-17 15:46:41
阅读次数：
140
导入：传统关系型数据库 >大数据平台的importmysql >hadoop--connect 指定关系型数据库链接url mysql:jdbc://hadoop02:3306/--username 指定数据库的用户名--password 指定数据库的密码--table 指定要导出数据的mysql数 ...
分类：
其他好文 时间：
2019-06-09 22:23:14
阅读次数：
107
唯品会HDFS性能挑战和优化实践 原创： 大数据平台 唯技术 4月1日 https://mp.weixin.qq.com/s/LMa99ubgACI4eaDV3G-6gw ...
分类：
其他好文 时间：
2019-05-28 23:56:43
阅读次数：
219
随着饿了么在大数据应用的不断深入，需要解决任务数量增长快、任务多样化、任务关系复杂、任务执行效率低及任务失败不可控等问题。 饿了么大数据平台现状：每天完成大数据任务计算 54000+;节点集群 85 台。 开源解决方案 Ooize Ooize 基于工作流调度引擎，是雅虎的开源项目，属于 Java W ...
分类：
其他好文 时间：
2019-05-20 17:16:43
阅读次数：
109
写在前面 GitDataV，是一个github“大数据可视化平台”，通过它你可以更直观的看到你在github里的一些数据，（之所以打双引号，是因为我觉得这个还没到大数据可视化的程度）。其实我在 上篇文章 分享的时候已经提到了这个想法，通过github提供的接口，做一个自己的“大数据分析页面”，所以我 ...
分类：
其他好文 时间：
2019-05-18 15:54:26
阅读次数：
205
