一、hive用本地文件进行词频统计 1.准备本地txt文件 2.启动hadoop，启动hive 3.创建数据库，创建文本表 4.映射本地文件的数据到文本表中 5.hql语句进行词频统计交将结果保存到结果表中。 6.查看统计结果 二、hive用HDFS上的文件进行词频统计 1.准备电子书或其它大的文本 ...
分类：
其他好文 时间：
2020-12-10 10:59:18
阅读次数：
4
一、hive用本地文件进行词频统计 1.准备本地txt文件 2.启动hadoop，启动hive 3.创建数据库，创建文本表 4.映射本地文件的数据到文本表中 5.hql语句进行词频统计交将结果保存到结果表中。 6.查看统计结果 二、hive用HDFS上的文件进行词频统计 1.准备电子书或其它大的文本 ...
分类：
其他好文 时间：
2020-12-10 10:55:10
阅读次数：
3
使用idea操作HDFS、创建文件、上传文件、获取块信息、下载文件 1.搭建maven工程 2.pom依赖 <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common --> <dependency> <groupI ...
分类：
其他好文 时间：
2020-12-09 12:24:14
阅读次数：
6
一、hive用本地文件进行词频统计 1.准备本地txt文件 mkdir wc cd wc echo "hadoop hbase" > f1.txt echo "hadoop hive" > f2.txt 2.启动hadoop，启动hive start-all.sh hive 3.创建数据库，创建文本 ...
分类：
其他好文 时间：
2020-12-09 12:15:14
阅读次数：
5
来源： 1 Flink 1.1 Flink参数配置 jobmanger.rpc.address jm的地址。 jobmanager.rpc.port jm的端口号。 jobmanager.heap.mb jm的堆内存大小。不建议配的太大，1-2G足够。 taskmanager.heap.mb tm的 ...
分类：
其他好文 时间：
2020-12-09 12:04:30
阅读次数：
4
HBase在WAL机制开启的情况下，不考虑块缓存，数据日志会先写入HLog，然后进入Memstore，最后持久化到HFile中。HFile是存储在hdfs上的，WAL预写日志也是，但Memstore是在内存的 ...
分类：
其他好文 时间：
2020-12-07 12:09:37
阅读次数：
4
前言 在本机模拟器的ubuntu18版本上进行的部署测试，参考的官方文档： hadoop: 链接地址 hive: 链接地址 使用的版本： hadoop: 3.2.1 hive: 3.1.2 全程是使用root账号进行的配置。 hadoop安装配置 hadoop使用的是虚拟集群，即单机模拟集群，dat ...
分类：
其他好文 时间：
2020-12-05 10:52:38
阅读次数：
7
设计Spark程式过程中最初始的是创建RDD数据集，该数据集来自定义的源数据，当RDD数据集初始后，再通过算子对RDD数据集作转换生成后续的数据集。Spark中提供了多种创建RDD数据集的方法，比如：通过内存集合创建、或使用本地文件创建以及HDFS文件创建RDD数据集。最常见的是第三种方式，生产环境下通常会读取并基于HDFS上存储的数据来创建并进行离线批处理。典型的RDD创建流程为，通过输入算子（
分类：
其他好文 时间：
2020-12-04 10:59:58
阅读次数：
4
什么是Hive？ Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。 Hive 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将SQL转化成MapReduce程序。 1、Hive 处理的数据存储在HDFS； 2、Hiv ...
分类：
其他好文 时间：
2020-12-03 11:43:46
阅读次数：
3
zookeeper技术介绍[python书籍福利]Zookeeper技术介绍ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和
分类：
编程语言 时间：
2020-12-02 11:57:17
阅读次数：
3
