linuxroot组不是管理员角色root组并不是有root权限useradd-r-mr一般配合m使用文件权限设置是通过用户登录拿到的令牌中(uid,gid,groups)与文件本身所有者所属组想对比,识别顺序是从uid到groups一旦令牌uid=文件所有者,则可以修改文件所有权限,除了修改文件所有者内容,其他都可以修改,如果令牌uid!=文件所有者,则对比令牌gid=文件所属组,如果等于有文件
分类：
编程语言 时间：
2019-05-01 14:58:00
阅读次数：
203
简介：这里先手写一个MR程序，大致实现一个单词计数程序。帮助后面学习MapReduce组件。 1：先自定义一个Mapper接口 2：定义一个Context类： 该类主要实现数据的传输，和数据的封装（这里用的一个HashMap进行封装的） 3：实现Mapper类（其实这里就是简化的Map和Reduce ...
分类：
其他好文 时间：
2019-05-01 01:46:46
阅读次数：
255
linuxroot组不是管理员角色root组并不是有root权限useradd-r-mr一般配合m使用服务器让每个uid最好一样，统一标准化管理token（uid，gid，groups）fileuid=readwrite先看uid再看权限想看到最新fileuid=readwriteexcute必须重新登录rwx二进制文件一般读取没有实际意义，不是随便一个权限赋予读都有意义读和写一般给文本文件,读权
分类：
编程语言 时间：
2019-04-29 00:22:21
阅读次数：
186
一、Fetch Task在执行hive代码的时候，一条简单的命令大部分都会转换成为mr代码在后台执行，但是有时候我们仅仅只是想获取一部分数据而已，仅仅是获取数据，还需要转化成为mr去执行吗？那个也太浪费时间和内存啦，所以有一个hive的配置如下所示：#在hive-default.xml.templa... ...
分类：
其他好文 时间：
2019-04-28 15:50:07
阅读次数：
141
基础操作手册:Windows Mr丶菜鸟 1、下载jmeter ，jmeter是一款基于java的开源工具，可以测试接口和性能，需要jdk环境，下载jmeter地址：https://jmeter.apache.org/download_jmeter.cgi 下载安装之后进行解压，启动文件在jmete ...
分类：
其他好文 时间：
2019-04-23 10:59:21
阅读次数：
139
Yarn是为了解决MRv1中JobTracker负载过重，而设计的第二代MR运行架构。yarn是个master/slave结构，master节点运行Resourcemanager，slave节点运行nodemanager。RM主要有两个组件：资源调度器（scheduler）和应用程序管理器（ApplicationsManager）scheduler主要进行资源调度，不进行任何与应用程序相关的动作，
分类：
其他好文 时间：
2019-04-20 15:44:25
阅读次数：
280
1.Hive不存储数据，Hive需要分析计算的数据，以及计算结果后的数据实际存储在分布式系统上，如HDFS上。 2.Hive某种程度来说也不进行数据计算，只是个解释器，只是将用户需要对数据处理的逻辑，通过SQL编程提交后解释成MapReduce程序，然后将这个MR程序提交给Yarn进行调度执行。所以 ...
分类：
数据库 时间：
2019-04-12 10:29:18
阅读次数：
238
一、Hadoop的数据压缩 1.概述 在进行MR程序的过程中，在Mapper和Reducer端会发生大量的数据传输和磁盘IO，如果在这个过程中对数据进行压缩处理，可以有效的减少底层存储(HDFS)读写的字节数，，并且通过减少Map和Reduce阶段数据的输入输出来提升MR程序的速度，提高了网络带宽和 ...
分类：
其他好文 时间：
2019-04-08 10:38:13
阅读次数：
231
先看一下目录结构 这里是job接口，负责参数的传递和定时的调用 下面的图是MR 程序相关的目录图片，其中MR的入口程序负责读取数据，并指定对应的Map、Reduce程序。 程序的流程 首先简单的说一下，整体的流程： 上代码 Job程序： MR入口程序，负责数据的读取，指定对应的Map、Reduce程 ...
分类：
其他好文 时间：
2019-04-05 15:37:47
阅读次数：
116
若干人左对齐站成最多5行，给定每行站多少个，列数从第一排开始往后递减。要求身高从每排从左到右递增（我将题意篡改了便于理解233），每列从前向后递增。每个人身高为1...n(n<=30)中的一个数（互不不同）。求可行方案数。（地址点我qwq）； 做了lyd书dp这一章的第一题，就不会qwq。。果然菜的 ...
分类：
其他好文 时间：
2019-04-04 18:55:08
阅读次数：
267
