介绍 不论MapReduce还是RDD，shuffle都是非常重要的一环，也是影响整个程序执行效率的主要环节，但是在这两个编程模型里面shuffle却有很大的异同。 shuffle的目的是对数据进行混洗，将各个节点的同一类数据汇集到某一个节点进行计算，为了就是分布式计算的可扩展性。 可能大家多MR的 ...
分类：
其他好文 时间：
2020-09-17 19:31:45
阅读次数：
30
1. 简介 FFmpeg filter提供了很多?视频特效处理的功能，?如视频缩放、截取、翻转、叠加等。其中定义了很多的filter，例如以下常?的?些filter。scale：视频/图像的缩放overlay：视频/图像的叠加crop：视频/图像的裁剪trim：截取视频的?段rotate：以任意?度 ...
分类：
其他好文 时间：
2020-09-17 19:31:12
阅读次数：
25
1 开启 Map 输出阶段压缩(中间压缩) 开启 map 输出阶段压缩可以减少 job 中 map 和 Reduce task 间数据传输量。具体配置如下： 步骤1: 开启 Hive 中间传输数据压缩功能 map 任务和 reduce 任务之间的数据的压缩. hive.exec.compress.i ...
分类：
其他好文 时间：
2020-09-17 17:04:51
阅读次数：
30
当运行中出现Container is running beyond physical memory这个问题出现主要是因为物理内存不足导致的，在执行mapreduce的时候，每个map和reduce都有自己分配到内存的最大值，当map函数需要的内存大于这个值就会报这个错误，解决方法： 在mapredu ...
分类：
其他好文 时间：
2020-09-17 13:31:24
阅读次数：
39
1.前言上一文我们使用SpringSecurity实现了各种登录聚合的场面。其中我们是通过在UsernamePasswordAuthenticationFilter之前一个自定义的过滤器实现的。我怎么知道自定义过滤器要加在UsernamePasswordAuthenticationFilter之前。我在这个系列开篇说了SpringSecurity权限控制的一个核心关键就是过滤器链，这些过滤器如下图
分类：
编程语言 时间：
2020-09-17 12:40:13
阅读次数：
20
Redis 布隆过滤器 应用场景 ? 我们知道可以用HyperLogLog数据结构用来进行估数， 它非常有价值，可以解决很多精度不高的统计需求。 ? 但是如果我们想知道某一个值是不是已经在HyperLogLog结构里面了， HyperLogLog就不能为力了， 它只提供了pfadd和pfcount方 ...
分类：
其他好文 时间：
2020-09-17 12:18:47
阅读次数：
21
Unbuntu 安装Redis 布隆过滤器插件 查看你的Redis系统版本 vagrant@homestead:~$ redis-server -v Redis server v=5.0.8 sha=00000000:0 malloc=jemalloc-5.1.0 bits=64 build=129 ...
分类：
其他好文 时间：
2020-09-17 12:18:04
阅读次数：
21
聚合操作主要用于处理数据并返回计算结果。聚合操作将来自多个文档的值组合在一起，按条件分组后，再进行一系列操作（如求和、平均值、最大值、最小值）以返回单个结果。 MongoDB 提供了三种执行聚合的方法：聚合管道、map-reduce 和单一目标聚合方法，这里只介绍前两种方法。 聚合管道方法 Mong ...
分类：
数据库 时间：
2020-09-17 12:01:48
阅读次数：
32
#MapReduce Google File System提供了大数据存储的方案，这也为后来HDFS提供了理论依据，但是在大数据存储之上的大数据计算则不得不提到MapReduce。 虽然现在通过框架的不断发展，MapReduce已经渐渐的淡出人们的视野，越来越多的框架提供了简单的SQL语法来进行大数 ...
分类：
其他好文 时间：
2020-09-12 21:52:03
阅读次数：
61
复制过滤器可以让从节点复制指定的数据库或指定数据库的指定表 复制过滤器两种实现方式： 方法1.服务器选项：主服务器仅向二进制日志中记录与特定数据库相关的日志 注意：此方法只需要在主服务器上做即可，会影响具体的数据库的二进制日志生成，虽然实现了此功能，但后期通过二进制日志恢复数据库会收到一定的影响，慎 ...
分类：
数据库 时间：
2020-09-12 21:10:45
阅读次数：
39
