本章分享的目录： 1：基础 第一节：简介与原理 2：设置用户及权限赋予 第二节：角色权限 3：安装 ，配置，连接 第三节：部署hive 4：参数动态设置 第四节：hive参数设置 第一节：简介与原理 简介： 数据仓库，对海量数据的离线处理（以HiveQL的形式，生成MR任务）； 核心组件： 解释器， ...
分类：
其他好文 时间：
2020-01-09 14:49:03
阅读次数：
115
一、Kafka简介 Kafka是一种高吞吐量的分布式发布订阅消息系统，用户通过Kafka系统可以发布大量的消息，同时也能实时订阅消费消息。Kafka可以同时满足在线实时处理和批量离线处理。 在公司的大数据生态系统中，可以把Kafka作为数据交换枢纽，不同类型的分布式系统（关系数据库、NoSQL数据库 ...
分类：
其他好文 时间：
2019-12-12 13:28:15
阅读次数：
155
首先比较容易想到肯定是前k大的元素，那么我们可以先对其进行sort，如果数值一样返回下标小的(见题意)，接下里处理的时候我们发现需要将一个元素下标插入到有序序列并且需要访问第几个元素是什么，那么我们可以离线处理，将所有询问存起来，每次插入一个元素的时候在对其进行查询，那么现在就变成了离线求第k大，那 ...
分类：
其他好文 时间：
2019-11-26 13:46:00
阅读次数：
69
题目链接： 题解思路：首先按数组中的下标建一棵线段树，假设原数组是a，我们用一个新数组b记录a，将b数组先按权值排序、再按下标排序，然后再用数组记录m次询问，按k从小到大排序，再对每个询问二分线段树右边界，最后把m次询问按原来的顺序排回来，最后按顺序输出答案即可。 #include<bits/std ...
分类：
其他好文 时间：
2019-11-25 15:09:10
阅读次数：
59
题意： 有一个长度为$n$的序列，每个数的值代表一种颜色，有$m$次询问，每次询问求$[L,R]$中的颜色数。、 "题目链接" 解法： 将询问离线处理，按右区间排序，每次右区间扩大，就更新新加入的点，如果该点的颜色之前出现过，就把之前的那个点删掉，然后对每个线段树来说，进行区间查询即可，通过分析可知 ...
分类：
其他好文 时间：
2019-11-12 09:34:00
阅读次数：
91
今天介绍一个神仙算法：Dsu On Tree[ 树上启发式合并 ] 这个算法用于离线处理询问子树信息，而且很好写。 但是在你没有理解它之前，这是个很鬼畜的算法。 理解后你才能真心感到它的美妙之处。 关键是它是有着媲美线段树合并的时间复杂度的“暴力”算法。 这里说一件事，我学这个东西时找了很多篇博客， ...
分类：
其他好文 时间：
2019-11-01 20:30:53
阅读次数：
111
大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下： ...
分类：
其他好文 时间：
2019-10-06 16:48:10
阅读次数：
114
我好菜啊 $T1：Divisors$ 枚举每个a的约数，sort并统计就好了 $T2：Market$ 感觉经常做这种题啊 由于价格太大，而收益很小，考虑以收益为下标 设dp[i]表示当前收益为i时的最小花费 离线跑个背包就好了 $T3：Dash Speed$ 题意就是统计某些边构成的森林中最大的直径 ...
分类：
其他好文 时间：
2019-10-04 00:20:24
阅读次数：
108
V4.1.0 根据用户反馈，共增加了23个更新：其中有11个功能增强和12个BUG修复。新版极大方便测试执行，测试用例可要把看板设置为首页，就可以在这里连续不断的执行你的迭代用例，同时，用导导入导出及同步离线处理更加友好，返回具体的同步数据。 V4.1.0详情如下所述: ...
分类：
其他好文 时间：
2019-09-29 12:35:41
阅读次数：
98
[TOC] 一、前言 关于 响应式 Reactive，前面的两篇文章谈了不少概念，基本都离不开下面两点： 响应式编程是面向流的、异步化的开发方式 响应式是非常通用的概念，无论在前端领域、还是实时流、离线处理场景中都是适用的。 有兴趣的朋友可以看看这两篇文章： "Reactive(1) 从响应式编程到 ...
分类：
编程语言 时间：
2019-09-12 23:35:09
阅读次数：
596
