Hive是什么？ 个人理解是把存储在hdfs上的数据映射位一张数据库表，提供类sql（HQL）语句的查询，方便数据的分析，查询。另外一点就是自动的把HQL转化为MapRudecu、Tez、Spark执行。 Hive的架构 用户接口：可以是hive shell，jdbc（java 访问hive），we ...
分类：
其他好文 时间：
2020-04-27 15:21:33
阅读次数：
59
Hive排序 一、全局排序（order by） Order by：全局排序，只有一个reducer 1、使用 Order by 子句排序 升序：ASC，可以不写，默认是升序 降序：DESC，降序 2、order by 语句使用在select语句的结尾 3、案例实操 -- （1） 查询员工信息按工资升 ...
分类：
编程语言 时间：
2020-04-24 14:38:20
阅读次数：
75
import org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.hbase.mapreduce.TableInputFormat import org.apache.hadoop.hbase.util.Bytes ...
分类：
其他好文 时间：
2020-04-22 09:16:07
阅读次数：
55
概述Map方法之后, 数据首先进入到分区方法, 把数据标记好分区, 然后把数据发送到环形缓冲区; reduce的并行数量以及输出文件的个数, 由分区数决定. 默认分区是根据key的hashCode对ReduceTasks个数取模得到.自定义步骤1.自定义类继承Partitioner, 重写getPa... ...
分类：
其他好文 时间：
2020-04-19 13:01:58
阅读次数：
62
HBase的前提条件： JDK SSH Hadoop JDK:Hadoop和JDK运行的环境，他们的守护进程运行在JVM下。HBase支持JDK 1.6以上的版本。比如： jdk-8u161-linux-x64.rpm。 SSH:实现简单的服务器与主机的通信。在集群中，只有启动sshd后，才可以通过 ...
分类：
系统相关 时间：
2020-04-19 00:46:23
阅读次数：
101
1.基本 5年以上java实际项目开发经验； 5年以上业务级管理软件研发经验 2.技术 数据结构基础较好 算法基础 阅读过部分源码 熟悉 TCP/IP/HTTP 等协议原理 熟练使用HTML、JQuery、JS等； 熟悉MySQL/Sql Server/Oracle数据库中的一种或多种 数据库调优 ...
分类：
其他好文 时间：
2020-04-15 22:58:36
阅读次数：
82
感谢平台分享-http://bjbsair.com/2020-04-10/tech-info/53319.html你也可以将本文的标题理解为“如果我的表rowkey看起来像这样，但我也希望我的查询表这样。”dist-list上的一个常见示例是row-key格式为“user-timestamp”格式，但对于特定时间范围内的用户活动有报告要求。因此，用户选择容易，因为它处于密钥的主导位置，但时间不是。
分类：
其他好文 时间：
2020-04-11 09:48:59
阅读次数：
66
感谢平台分享-http://bjbsair.com/2020-04-10/tech-info/53333.htmlApacheMapReduce是一个用于分析大量数据的软件框架。它由ApacheHadoop提供。MapReduce本身超出了本文档的范围。开始使用MapReduce的好地方是https://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-
分类：
其他好文 时间：
2020-04-11 09:37:51
阅读次数：
83
难点 逻辑判断当前地图的状态(注意数组越界问题), 根据这个状态, 对数组的值进行修改, 然后调用 repaint() -> paint() 来将图形绘制出来. 举一反三 实际上, 步骤1,2 完全可以用在 连连看中. 而且连连看不需要撤销功能, 所以不需要保存之前的图形的样子. 而连连看的主程序在 ...
分类：
其他好文 时间：
2020-04-05 13:49:32
阅读次数：
81
重温MR整体流程 工作流程 开始执行输入（InputFormat），先对文件进行分片，然后读取数据输入到Map中。 Mapper读取输入内容，解析成键值对，1行内容解析成1个键值对，每个键值对调用一次map方法。 每个键值对执行map重写的方法，把输入的键值对转换成新的键值对。 多个Mapper的输 ...
分类：
其他好文 时间：
2020-04-05 00:16:31
阅读次数：
65
