目录
数据库查询预准备
VACUUM
ANALYZE
EXPLAIN执行计划
两种聚合方式
关联
重分布
查询优化
explain参数
选择合适分布键
分区表
压缩表
分组扩展
窗口函数
列存储和...
分类:
数据库 时间:
2016-09-29 09:38:09
阅读次数:
483
一、概述 平时,经常会遇到权重随机算法,从不同权重的N个元素中随机选择一个,并使得总体选择结果是按照权重分布的。如广告投放、负载均衡等。 如有4个元素A、B、C、D,权重分别为1、2、3、4,随机结果中A:B:C:D的比例要为1:2:3:4。 总体思路:累加每个元素的权重A(1)-B(3)-C(6) ...
分类:
编程语言 时间:
2016-09-14 20:38:16
阅读次数:
434
原文地址:https://segmentfault.com/a/1190000004059167 介绍 在专业的网络世界中,经常使用到Virtual Routing and Forwarding(VRF),比如Cisco,Alcatel-Lucent, Juniper 等。对于L2 switch,自 ...
分类:
Web程序 时间:
2016-08-08 19:17:35
阅读次数:
311
Hadoop的HDFS集群在使用一段时间后,各个DataNode节点的磁盘使用率肯定会出现不平衡的情况,也就是数据量层面的数据倾斜,如图: 引起这种情况的方式很多:1. 添加新的Datanode节点2. 人为干预将数据的副本数降低或者增加 我们都知道当HDFS出现数据不平衡的时候,就会造成MapReduce或Spark等应用程序无法很好的利用本地计算的优势,而且Datano...
分类:
其他好文 时间:
2016-07-12 00:06:55
阅读次数:
327
海量数据处理的常用技术可分为: 外排序:因为海量数据无法全部装入内存,所以数据的大部分存入磁盘中,小部分在排序需要时存入内存。 MapReduce:分布式处理技术 hash技术:以Bloom filter技术为代表 外排序:主要适用于大数据的排序、去重。 分布式处理技术:MapReduce 技术思想
分类:
其他好文 时间:
2016-03-11 23:59:48
阅读次数:
396
可选传递-BGPcommunities是一种给路由条目打上标记,用于确保路由过滤和选择的连续性-BGP路由器可以在重分布、发送、接收路由更新的时候给路由条目打上community值(route-map)-根据community值,BGP路由器可以过滤进出路由更新或者优选某些路由-缺省情况下,在update路由的时..
分类:
编程语言 时间:
2016-02-27 01:07:16
阅读次数:
367