Hive产生背景： mapreduce编程的不便性 HDFS上的文件缺少Schema Hive Facebook开源的，最初用于海量结构化的日志数据统计问题 构建在hadoop之上的数据仓库 hive定义了一种类SQL查询语言：HQL（类似SQL但不完全相同） 通常用于离线数据处理（采用mapred ...
分类：
其他好文 时间：
2020-05-18 16:01:16
阅读次数：
183
## java最新面试题2020# 一面 1. “Spark还有Ruby啊，会的挺多，既然你啥都会点咱们就不局限于Java了”2. 聊了聊美团实习的项目，聊到了Spark，然后说到了Spark相对于MapReduce的改进，然后3. “Spark熟吗”4. “那你这个需求怎么做的”5. “那咱们就从... ...
分类：
编程语言 时间：
2020-05-18 14:31:41
阅读次数：
162
概述 Map Reduce 分布式并行编程：借助一个集群通过多台机器同时并行处理大规模数据集 1、mapreduce编程思想 核心设计两个函数：Map函数和Reduce函数 策略：分而治之，把非常庞大的数据集，切分成非常多独立的小分片，然后为每一个分片单独地启动一个map任务，最终通过多个map任务 ...
分类：
其他好文 时间：
2020-05-18 00:31:27
阅读次数：
133
hive是如何将HQL转换成MapReduce程序的呢，通过对hive架构的学习，您将全面了解hive的工作流程以及数据处理过程
分类：
其他好文 时间：
2020-05-17 09:15:54
阅读次数：
85
（1）利用TreeSet排序,该方式利用小顶堆和集合重复原理的方式 , 每过来一个数据 , 跟堆顶数据进行比较 , 如果比最小的大 , 则将过来的数据替换堆顶元素 , 否则直接跳过数据 . 以此对数据进行排序 . import java.io.File; import java.io.IOExcep ...
分类：
其他好文 时间：
2020-05-16 16:50:58
阅读次数：
50
百度大数据实习生：（百度科技园一号楼） 2018-3-31 笔试： 1.双指针的题 2.找出字符串中第一个出现两次的字母 3.通过前中序求二叉树 4.快速排序，堆排序 5.数据库的左右连接 面试： 1.MapReduce分几步，shuffle原理 2.hive 的知识 3.数据库，数据仓库 4.代码 ...
分类：
其他好文 时间：
2020-05-14 01:50:12
阅读次数：
77
1.WordCount程序任务 输入:一个包含大量单词的文本文件 输出:文件中没个单词及出现的次数(频数)，并按照单词顺序排序每个单词和其频数占一行，单词和频数之间有间隔 2.WordCount程序设计思路 WordCount可以使用MapReduce去做 在/usr/local/目录下创建Word ...
分类：
其他好文 时间：
2020-05-13 19:46:40
阅读次数：
77
二者对比 1.Hive 数据仓库：本质其实就相当于将hdfs中已经存储的文件在Mysql中做了一个双射关系，以方便用HQL去管理查询。 用于数据分析、清洗：Hive适用于离线的数据分析和清洗，延迟较高。 基于HDFS、MapReduce：Hive存储的数据依旧在DataNode上，编写的HQL语句终 ...
分类：
其他好文 时间：
2020-05-09 01:23:51
阅读次数：
63
将jar包放置服务器运行 1.环境配置 + 在/etc/profile中配置 + 在hadoop env.sh配置,==在for循环后面添加== 直接在开发平台运行，连接到HBase服务端（以IDEA为例） 1.环境配置，添加hbase site.xml，将远程的hbase site.xml文件内容 ...
分类：
其他好文 时间：
2020-05-07 22:58:36
阅读次数：
83
MapReduce的默认输出数据的间隔符是制表符，现在想改成逗号间隔，可通过Configuration对象修改 configuration.set("mapred.textoutputformat.ignoreseparator","true"); configuration.set("mapred ...
分类：
其他好文 时间：
2020-05-07 13:40:29
阅读次数：
67
