Hive是大数据领域常用的组件之一，主要用于大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的一个点，因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要因素有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等。本文主要从建表配置参数方面对Hive优化进行讲解
分类：
其他好文 时间：
2020-09-04 16:58:58
阅读次数：
42
范式理论 范式可以理解为设计一张符合标准级别的数据表结构时，所需要遵循的规范和要求。 而在关系型数据库设计时遵照一定的规范要求，可以带来很多好处。比如：降低数据的冗余性： 1. 因为数据冗余度高的话, 会增大磁盘开销 2. 在不使用分布式系统的情况下, 数据冗余度高的话, 可能需要增加磁盘的数量, ...
分类：
其他好文 时间：
2020-08-28 14:29:13
阅读次数：
47
数据处理的工作时间占整个数据分析项目的70%以上，因此，数据的质量直接决定了分析模型的准确性。那么，数据预处理的方法是什么呢？例如数据清理、数据集成、数据规范、数据转换等，其中最常用的是数据清理和数据集成，下面中琛魔方将来详细介绍一下这2种方法。 数据预处理的方法 1、数据清洗 数据清洗是通过填补缺失值，平滑或删除离群点，纠正数据的不一致来达到清洗的目的。简单来说，就是把数据里面哪些缺胳
分类：
其他好文 时间：
2020-08-13 11:52:24
阅读次数：
51
1、设计良好的数据库结构，允许部分数据冗余，尽量避免 join 查询，提高效率。 2、选择合适的表字段数据类型和存储引擎，适当的添加索引。 3、MySQL 库主从读写分离。 4、找规律分表，减少单表中的数据量提高查询速度。 5、添加缓存机制，比如 memcached，apc 等。 6、不经常改动的页 ...
分类：
数据库 时间：
2020-07-14 13:47:54
阅读次数：
75
1.1 什么是框架？ 软件的半成品，解决了软件开发过程当中的普适性问题，从而简化了开发步骤，提供了开发的效率 1.2 什么是ORM框架？ ORM（Object Relational Mapping）对象关系映射，将程序中的一个对象与表中的一行数据一一对应 ORM框架提供了持久化类与表的映射关系，在运 ...
分类：
其他好文 时间：
2020-07-11 18:54:58
阅读次数：
58
dubbo的介绍一。前引软件构架的发展过程：集中式架构（单体应用） 》垂直架构 》分布式架构 》流动计算架构（SOA） 集中式架构：就一个tomcat，所有功能部署在一起。。不能高并发 垂直架构：多个tomcat， 分成多个项目，项目与项目之间的存在数据冗余，耦合性较大 分布式架构：多个tomcat ...
分类：
其他好文 时间：
2020-07-02 21:28:05
阅读次数：
57
RAID 一、名称解释： Redundant Array of Independent Disks，独立冗余磁盘阵列 二、RAID功能： 数据冗余-磁盘可用性 磁盘性能-吞吐效率 三、RAID分类： RAID0 至少两块硬盘，速度是n倍（n块硬盘），容量是单个硬盘的n倍,任何一块硬盘损坏 ，数据丢失 ...
分类：
其他好文 时间：
2020-05-30 12:21:04
阅读次数：
55
所谓的副本机制（Replication），也可以称之为备份机制，通常是指分布式系统在多台网络互联的机器上保存有相同的数据拷贝 1、提供数据冗余。即使系统部分组件失效，系统依然能够继续运转，因而增加了整体可用性以及数据持久性。 2、提供高伸缩性。支持横向扩展，能够通过增加机器的方式来提升读性能，进而提 ...
分类：
其他好文 时间：
2020-05-27 15:59:20
阅读次数：
68
原文:在Docker平台实现MySQL Replication(复制) MySQL Replication提供了数据库之间复制数据的功能，通过这个功能可以让一个数据库的数据更改自动同步到另外一个数据库。通常用这个功能来实现数据备份、数据容灾、数据冗余，进一步实现数据的读写分离等功能。具体的功能介绍不... ...
分类：
数据库 时间：
2020-05-21 10:11:30
阅读次数：
58
