1、聚合为什么慢？大多数时候对单个字段的聚合查询还是非常快的，但是当需要同时聚合多个字段时，就可能会产生大量的分组，最终结果就是占用Elasticsearch大量内存，从而导致OOM的情况发生。实践应用发现，以下情况都会比较慢：1）待聚合文档数比较多（千万、亿、十亿甚至更多）；2）聚合条件比较复杂（多重条件聚合）；3）全量聚合（翻页的场景用）。2、聚合优化方案探讨优化方案一：默认深度优先聚合改为广
分类：
其他好文 时间：
2020-08-03 09:45:09
阅读次数：
79
和Mysql主从复制的原因一样，Redis虽然读取写入的速度都特别快，但是也会产生读压力特别大的情况。 为了分担读压力，Redis支持主从复制，Redis的主从结构可以采用一主多从或者级联结构，Redis主从复制可以根据是否是全量分为全量同步和增量同步。 下图为级联结构。 全量同步Redis全量复制 ...
分类：
其他好文 时间：
2020-07-30 16:39:53
阅读次数：
69
Rsync简介 什么是rsync? Rsync是一款开源的、快速的、多功能的、可实现全量及增量的本地或远程数据同步备份的优秀工具。Rstync软件适用于unix/linux/windows等多种操作系统平台。 Rsync英文全称为Remotesynchronization，即远程同步。从软件的名称就 ...
分类：
其他好文 时间：
2020-07-30 01:26:34
阅读次数：
99
本文源码：GitHub·点这里||GitEE·点这里一、集群环境搭建1、环境概览ES版本6.3.2，集群名称esmaster，虚拟机centos7。服务群角色划分说明en-mastermaster主节点：esnode1en-node01slave从节点：esnode2en-node02slave从节点：esnode3ElasticSearch基础功能和用法：MySQL数据全量和增量方式向ES搜索引
分类：
其他好文 时间：
2020-07-16 12:13:06
阅读次数：
84
（简答题）1.如果让你来设计数据仓库并搭建相关可视化报表,你会考虑哪些问题。 1. 数据推送方式与批次，是推送增量还是推送全量，是一天一次还是一天两次；2. 推送全量的就全删全插，推送增量的涉及到时间拉链的取法，是滚动时间还是平滑时间；3. 多次推送的还涉及到数据去重的问题；4. 从源端推送过来的数 ...
分类：
其他好文 时间：
2020-07-15 10:45:58
阅读次数：
180
和Mysql主从复制的原因一样，Redis虽然读取写入的速度都特别快，但是也会产生读压力特别大的情况。为了分担读压力，Redis支持主从复制，Redis的主从结构可以采用一主多从或者级联结构，Redis主从复制可以根据是否是全量分为全量同步和增量同步。下图为级联结构。 全量同步Redis全量复制一般 ...
分类：
其他好文 时间：
2020-07-02 13:45:03
阅读次数：
60
ODS层数据不做任何处理，完全仿照业务数据库中的表字段，一模一样的创建ODS层对应表。 8张表建表语句： ①用sqoop把导入到HDFS的时候，加了参数--fields-terminated-by "\t"，因此这里ODS层建表的时候也注意相同的分隔符。 ②不管是全量导入还是其他形式，都使用分区表， ...
分类：
其他好文 时间：
2020-07-01 23:46:38
阅读次数：
91
1.复制 第一次进行全量复制，即将主服务器的数据通过rdb保存起来，然后复制到从服务器中，以后通过sync命令不断复制主服务器执行的命令来完成数据的同步。 复制命令，slaveof <master_ip> <master_port> 2.Sentinel 哨兵模式，通过redis-sentinel命 ...
分类：
其他好文 时间：
2020-06-29 00:19:45
阅读次数：
62
需求背景 需求 一张数据表 其中有sid字段，代表tag，每行数据可能有多个tag字段 统计全量数据中所有tag出现的次数（按tag分组，分别有多少数据） source table demo id sid 1 a3,a4,a1,a2,a5 2 a5,a3,a4,a2 3 a5,a3,a4 targe ...
分类：
数据库 时间：
2020-06-24 16:34:59
阅读次数：
59
背景 因特殊业务需要，需要把源码中的注释全部去除 代码定义（亲测可用） package com.example.demo.domain; import java.io.*; import java.nio.charset.StandardCharsets; import java.util.Hash ...
分类：
其他好文 时间：
2020-06-18 19:19:05
阅读次数：
55
