Offset存储模型 由于一个partition只能固定的交给一个消费者组中的一个消费者消费，因此Kafka保存offset时并不直接为每个消费者保存，而是以 groupid-topic-partition -> offset 的方式保存。 如图所示： Kafka在保存Offset的时候，实际上是将 ...
分类：
其他好文 时间：
2019-11-06 13:12:06
阅读次数：
61
MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。 主要由Split、Map、Partition、Sort、Combine（需要自己写）、Merge、Reduce组成，一般来说Split、Partition、Sort、Merge不需要工程师编程但是可以改写，主要是写出Map ...
分类：
其他好文 时间：
2019-11-05 21:40:23
阅读次数：
96
一、概述1、什么是hive?由Facebook开源用于解决海量结构化日志的数据统计。是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质上其实就是将HQL/SQL转化为MapReduce或者spark任务执行，然后返回结果。有以下几个本质：1）Hive处理的数据存储在HDFS。默认在在/user/hive/warehouse/<databas
分类：
其他好文 时间：
2019-11-03 14:40:54
阅读次数：
85
转自：https://www.cnblogs.com/rjzheng/p/8994962.html 引言 为什么写这篇文章? 博主有两位朋友分别是小A和小B: 庆幸的是两位朋友都很有上进心，于是博主写这篇文章，帮助他们复习一下关于消息队列中间件这块的要点 复习要点 本文大概围绕如下几点进行阐述: 我 ...
分类：
其他好文 时间：
2019-11-03 12:55:20
阅读次数：
66
统计每个月，每个地区，用户缴费的月总计，年累计。 既然有月总计，年累计，应该就是先统计出月总计的数据，再用partition by 做年累计。 但是忘记了一个前提，切片的维度：月，地区，不一定每个月都存在（如果放大到地区，应该是每个月都存在的）。如果是这样，年累计就会出现问题，比如一个用户，这个月没 ...
分类：
数据库 时间：
2019-11-03 10:35:51
阅读次数：
81
原文链接:https://www.cnblogs.com/DarrenChan/p/8807112.html 这三个排序的时间复杂度都是O(nlogn)，所以这里放到一起说。 回到顶部 1. 快速排序# 快速排序（英语：Quicksort），又称划分交换排序（partition-exchange s ...
分类：
编程语言 时间：
2019-11-02 15:57:28
阅读次数：
116
链接： https://codeforces.com/contest/1251/problem/B 题意： A palindrome is a string t which reads the same backward as forward (formally, t[i]=t[|t|+1?i] f ...
分类：
其他好文 时间：
2019-11-01 20:42:06
阅读次数：
126
从待排序列中挑出一个元素，作为"基准"(pivot)，通过一趟排序，把所有比基准值小的元素放在基准前面，所有比基准值大的元素放在基准的后面（相同的数可以到任一边），这个称为分区(partition)操作。对前后两个区间重复此操作，直到前后分区的带下是0或1结束。每一次都确定待排序列中一个元素的位置。 ...
分类：
编程语言 时间：
2019-11-01 10:00:40
阅读次数：
88
本章内容： 磁盘分区 格式化 硬件设备文件名 挂载 配置IP地址 一、磁盘分区 定义：磁盘分区是使用磁盘编辑器（partition editor）在磁盘上划分几个逻辑部分。碟片一旦划分成数个分区（Partition），不同类的目录与文件可以存储进不同的分区。 两种分区表形式： MBR分区表：最大支持 ...
分类：
其他好文 时间：
2019-11-01 00:05:49
阅读次数：
142
虽然硬盘分区表中最多能存储四个分区，但我们实际使用时一般只分为两个分区，一个是主分区（Primary Partion）一个是扩展分区(extended partition)两种，主分区可以马上被使用但不能再分区，扩展分区必须再进行分区后才能使用，也就是说它必须还要进行二次分区。那么由扩充分区再分下去 ...
分类：
系统相关 时间：
2019-10-30 18:03:51
阅读次数：
158
