1.框架选型 hadoop 3.1.3 hive 3.1.2 zookeeper 3.5.7 hbase 2.2.3 kafka_2.11 2.4.0 spark 2.4.5 bin hadoop2.7 2.安装前准备 1.关闭防火墙 2.安装 JDK 3.安装 Scala 4.配置ssh 免密 5 ...
分类：
其他好文 时间：
2020-03-30 00:06:39
阅读次数：
66
微软在Ignite2019大会上正式发布了新一代数据库产品SQLServer2019。使用统一的数据平台实现业务转型SQLServer2019附带ApacheSpark和HadoopDistributedFileSystem（HDFS），可实现所有数据的智能化。SQLServer2019的亮点SQLServer是数据集成的中心。通过SQLserver和Spark为结构化和非结构化数据提供转型洞察力
分类：
数据库 时间：
2020-03-26 10:48:50
阅读次数：
131
背景 知乎作为知名中文知识内容平台，业务增长和产品迭代速度很快，如何满足业务快速扩张中的灵活分析需求，是知乎数据平台组要面临的一大挑战。 知乎数据平台团队基于开源的 Druid 打造的业务自助式的数据分析平台，经过研发迭代，目前支撑了全业务的数据分析需求，是业务数据分析的重要工具。 目前，平台主要的 ...
分类：
其他好文 时间：
2020-03-16 11:19:00
阅读次数：
49
前提 近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据（包括保存、更新或者软删除）到一个另一个数据源，持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系统构建等扩展功能 ...
分类：
数据库 时间：
2020-03-13 01:50:01
阅读次数：
141
[toc] 前言 我们平时在MySQL已经可以直接使用like查询了，为啥还要一个倒排索引的东西？ 我们用下面来说明下，假设有一本书，相应页码存储的文章内容如下 页码 | 内容 | | 1| 生命在于运动 | 2| 运动是生命的源泉| 3| 日复一日地坚持练下去吧,只有活动适量才能保持训练的热情和提 ...
分类：
其他好文 时间：
2020-03-11 19:51:01
阅读次数：
91
大数椐 在PaaS层中一个复杂的通用应用就是大数据平台。大数据是如何一步一步融入云计算的呢？ 数据都包含智慧 一开始这个大数据并不大。原来才有多少数据？现在大家都去看电子书，上网看新闻了，在我们80后小时候，信息量没有那么大，也就看看书、看看报，一个星期的报纸加起来才有多少字？如果你不在一个大城市， ...
分类：
其他好文 时间：
2020-03-07 20:38:11
阅读次数：
76
速点链接加入高手战队：http://www.dajiangtai.com/course/112.do唯一由中国人主导的Apache顶级项目Kylin到底是什么ApacheKylin（ExtremeOLAPEngineforBigData）是一个开源的分布式分析引擎，为Hadoop等大型分布式数据平台之上的超大规模数据集提供标准SQL查询及多维分析（OLAP）能力，并提供亚秒级的交互式分析功能。它最
分类：
其他好文 时间：
2020-03-05 19:33:43
阅读次数：
77
1. 案例介绍 本案例要基于MySQL数据库，使用Kettle、Apache Superset实现数据可视化。案例使用MySQL作为数据分析的存储以及查询引擎、以Kettle作为数据处理脚本执行工具、以及Apache Superset实现数据可视化展示。让我们将来能够欧快速实现数据分析、以及可视化开 ...
分类：
其他好文 时间：
2020-03-04 12:30:03
阅读次数：
92
HDFS简介 HDFS的运用非常广泛，基本上很多大数据平台大部分都会选用HDFS（或者类似HDFS）这样的分布式文件系统、来作为海量数据存储的一个解决方案。 优缺点 优势 1. 高容错性，HDFS提供了非常好的“副本冗余机制”，简单来说就是一份数据在HDFS当中存放，包含它自身在内至少会有（默认） ...
分类：
其他好文 时间：
2020-02-25 19:49:39
阅读次数：
69
因为公司规划原因，需要做一套集团化的数据平台，而且我们数据量还不小，单一个分公司主业务表单表一年多点已经快4kw，还不算从表和结果记录表等。目前微服务项目这么热，而且整个团队基本都是在NET环境下的码工，之前也用Net core做了一些小的项目。所以我们也准备在大项目中实践微服务。同时也是想跟大家分 ...
分类：
Web程序 时间：
2020-02-25 17:57:32
阅读次数：
80
