第1章 Hive入门 1.1 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计（分析数据的框架）。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序。 1）Hive ...
分类：
其他好文 时间：
2020-05-30 19:36:05
阅读次数：
56
Spark 通信架构 1、spark 一开始使用 akka 作为网络通信框架，spark 2.X 版本以后完全抛弃 akka，而使用 netty 作为新的网络通信框架。最主要原因：spark 对 akka 没有维护，需要 akka 更新，spark 的发展受到了 akka 的牵制，akka 版本之间 ...
分类：
其他好文 时间：
2020-05-29 19:20:02
阅读次数：
70
Hadoop 简介： 两大核心：HDFS+MapReduce Hadoop1.0，Hadoop2.0 Linux：基础 shell，sudo Hadoop集群的部署与使用 先访问nameNode 存储DataNode JobTracker TaskTracker 分布式文件系统 伪分布式：就是吧名称 ...
分类：
其他好文 时间：
2020-05-29 17:44:12
阅读次数：
71
找到hadoop安装目录下$HADOOP_HOME/etc/mapred-site.xml,增加以下代码 <property> <name>yarn.app.mapreduce.am.env</name> <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value ...
分类：
移动开发 时间：
2020-05-28 16:35:18
阅读次数：
115
题目三：使用Spark Core 统计文件中以spark开头的单词中，每个单词出现的次数（共计30分） spark-core hadoop linux java spark-sql storm html css vue spark spring springboot struts spark-hiv ...
分类：
其他好文 时间：
2020-05-26 22:06:21
阅读次数：
102
说明：数据清洗的过程往往只需要运行Mapper程序，不需要运行Reduce程序。 已采集到日志数据存入web.log文件中，其中一条日志格式如下： 101.206.68.147 - - [18/Sep/2018:20:05:16 +0000] "HEAD / HTTP/1.2" 200 20 "-" ...
分类：
其他好文 时间：
2020-05-25 12:28:31
阅读次数：
61
MapReduce没有输出，得到一个空的文件夹 1. Map输出类型和Reducer的输入类型对不上 2. myMapper和myReducer类不是static的，这样在主方法中使用myReducer.class就有问题 将数据放入集合总会放入同一个引用问题 在reduce()方法中直接将key和 ...
分类：
其他好文 时间：
2020-05-24 12:05:23
阅读次数：
68
1、在配置jar包的时候发现如果hadoop.jar包的版本高于所运行的hadoop版本会报错，甚至无法创建工程文件，不兼容高版本的jar包 2、在运行mapreduce的时候需要将所需要map的文件上传到hadoop服务器上的/user/hadoop/，否则在默认路径找不到这个文件 3、当map结 ...
分类：
其他好文 时间：
2020-05-23 20:08:24
阅读次数：
49
1、presto是什么 Presto是由Facebook开发的一个分布式SQL查询引擎，是专门设计为用来专门进行大数据实时查询计算而设计和开发的产品。 它是为了解决Hive的MapReduce模型太慢以及不能通过BI或Dashboards直接展现HDFS数据等问题。 2、presto特点 prest ...
分类：
其他好文 时间：
2020-05-23 18:05:11
阅读次数：
249
1. UDF 2.UDAF 3.UDTF hive是一个计算引擎. mapreduce 慢，吞吐量达. hive有点像一个hadoop的客户端,他不是分布式的. ...
分类：
其他好文 时间：
2020-05-19 10:43:18
阅读次数：
40
