认识Hive 从MapReduce到SQL Hive架构 三种安装方式 Hive与关系型数据库的区别 1. 认识Hive 前面我们讲到了mapreduce计算框架，各位需要通过java编码的形式来实现设计运算过程，Hive的设计目的就是为了让精通sql技能而java较弱的分析师能够利用hadoop进 ...
分类：
其他好文 时间：
2020-11-21 12:33:40
阅读次数：
7
2. MAPREDUCE框架结构及核心运行机制 2.1 框架架构 一个完整的mapreduce程序在分布式运行时有三类实例进程：1、MRAppMaster(Mapreduce application master)：负责整个程序的过程调度及状态协调2、MapTask：负责map阶段的整个数据处理流程 ...
分类：
其他好文 时间：
2020-11-21 12:15:54
阅读次数：
6
大数据查询引擎Presto简介SQLonHadoop：Hive的出现让技术人员可以通过类SQL的方式对批量数据进行查询，而不用开发MapReduce程序MapReduce计算过程中大量的中间结果磁盘落地使运行效率较低为了提高SQLonHadoop的效率，各大工具应运而生，比如Shark、Impala等SQLonHadoop的常见工具：Presto是什么：Presto是由Facebook开发的分布式
分类：
数据库 时间：
2020-11-21 12:01:11
阅读次数：
8
HBase是一个高可靠、高性能、面向列的，主要用于海量结构化和半结构化数据存储的分布式key-value存储系统。它基于Google Bigtable开源实现，但二者有明显的区别：Google Bigtable基于GFS存储，通过MAPREDUCE处理存储的数据，通过chubby处理协同服务；而HB... ...
分类：
其他好文 时间：
2020-11-20 12:05:39
阅读次数：
11
漫画：什么是MapReduce？点击上方“程序员小灰”，选择“置顶公众号”有趣有内涵的文章第一时间送达！—————第二天—————————————————什么是MapReduce？MapReduce是一种编程模型，其理论来自Google公司发表的三篇论文（MapReduce，BigTable，GFS）之一，主要应用于海量数据的并行计算。MapReduce可以分成Map和Reduce两部分理解。1.
分类：
其他好文 时间：
2020-11-20 11:20:39
阅读次数：
5
yarn是什么： 旧版本MapReduce中的JobTracker/TaskTracker在可扩展性、内存消耗、可靠性和线程模型方面存在很多问题，需要开发者做很多调整来修复。 Hadoop的开发者对这些问题进行了Bug修复，可是由此带来的成本却越来越高，为了从根本上解决旧MapReduce存在的问题 ...
分类：
其他好文 时间：
2020-11-19 12:56:26
阅读次数：
17
在Linux中 xargs 是给命令传递参数的一个过滤器，可以将管道或标准输入的数据转换成参数，默认的命令是 echo，这意味着通过管道传递给 xargs 的输入将会包含换行，不过通过 xargs 的处理，换行将被空格取代。 如何使用xargs命令 语法： xargs [OPTIONS] [COMM ...
分类：
系统相关 时间：
2020-11-17 12:58:49
阅读次数：
23
LIstener监听器 一、什么是 Listener 监听器？ 1、Listener 监听器它是 JavaWeb 的三大组件之一。JavaWeb 的三大组件分别是：Servlet 程序、Filter 过滤器、Listener 监听器。 2、Listener 它是 JavaEE 的规范，就是接口 3、 ...
分类：
其他好文 时间：
2020-11-17 12:39:53
阅读次数：
6
一。简介 springcloud是第二代网关，取代zuul网关。具有强大的智能路由，过滤器功能。常见的功能有路由转发、权限校验、限流控制等作用 Spring Cloud Gateway 具有如下特性： 基于Spring Framework 5, Project Reactor 和 Spring Bo ...
分类：
其他好文 时间：
2020-11-12 14:12:11
阅读次数：
7
1 自定义标签和过滤器 1 自定义过滤器 -第一步：在settings中的INSTALLED_APPS配置当前app，不然django无法找到自定义的simple_tag -第二步：在app中创建templatetags包(包名只能是templatetags，不能改) -第三步：在包内，新建py文件 ...
分类：
其他好文 时间：
2020-11-12 14:03:14
阅读次数：
11
