一、hive用本地文件进行词频统计 1.准备本地txt文件 mkdir wc cd wc echo "hadoop hbase" > f1.txt echo "hadoop hive" > f2.txt 2.启动hadoop，启动hive start-all.sh hive 3.创建数据库，创建文本 ...
分类：
其他好文 时间：
2020-12-09 12:15:14
阅读次数：
5
redis5.0安装部署参考一键安装脚本1.目前在生产环境已经有的集群环境为3个master、3个slave，现在添加2个节点，形成5个master和5个slave将安装好的新redis节点添加到集群，安装好的节点规划如下：172.16.153.32:7002和172.16.153.32:7003前面的是master后面的是slave172.16.153.33:7004和172.16.153.33
分类：
其他好文 时间：
2020-12-08 12:22:25
阅读次数：
4
前言 在本机模拟器的ubuntu18版本上进行的部署测试，参考的官方文档： hadoop: 链接地址 hive: 链接地址 使用的版本： hadoop: 3.2.1 hive: 3.1.2 全程是使用root账号进行的配置。 hadoop安装配置 hadoop使用的是虚拟集群，即单机模拟集群，dat ...
分类：
其他好文 时间：
2020-12-05 10:52:38
阅读次数：
7
安装部署nginx 方式一：编译安装 安装依赖：yum install -y gcc gcc-c++ make zlib zlib-devel libtool opennssl openssl-devel pcre pcre-devel nginx的下载链接：http://nginx.org/en/ ...
分类：
系统相关 时间：
2020-12-04 11:24:20
阅读次数：
9
什么是Hive？ Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。 Hive 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将SQL转化成MapReduce程序。 1、Hive 处理的数据存储在HDFS； 2、Hiv ...
分类：
其他好文 时间：
2020-12-03 11:43:46
阅读次数：
3
zookeeper技术介绍[python书籍福利]Zookeeper技术介绍ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和
分类：
编程语言 时间：
2020-12-02 11:57:17
阅读次数：
3
>.ClouderaManager功能 1.1>.管理监控集群主机（主要监控硬件和软件的信息）； 1.2>.同一管理配置（主要是针对服务，比如hdfs，hbase等等）； 1.3>.管理维护Hadoop平台系统； 2>.ClouderaManager的一些常见名词 2.1>.主机-host 2.2> ...
分类：
其他好文 时间：
2020-12-01 11:54:36
阅读次数：
3
自动补全、回滚！介绍一款可视化sql诊断利器「点击图片获取最近两年爆款好文」Yearning简介YearningMYSQL是一个SQL语句审核平台。提供查询审计，SQL审核等多种功能，支持Mysql，可以在一定程度上解决运维与开发之间的那一环，功能丰富，代码开源，安装部署容易！项目地址：https://gitee.com/cookieYe/Yearning注意:Yearning1.x版本需ince
分类：
数据库 时间：
2020-12-01 11:43:44
阅读次数：
6
1.下载相应的版本https://www.mongodb.com/download-center/community我这里下载的是mongodb-linux-x86_64-rhel70-4.2.9.tgz 安装部署 1.创建安装目录192.168.1.169:28001对应的安装目录[root@te ...
分类：
数据库 时间：
2020-11-26 14:55:04
阅读次数：
9
MapReduce既是一个编程模型，也是一个计算组件，处理的过程分为两个阶段，Map阶段：负责把任务分解为多个小任务，Reduce负责把多个小任务的处理结果进行汇总。其中Map阶段主要输入是一对Key-Value，经过map计算后输出一对Key-Value值；然后将相同Key合并，形成Key-Value集合；再将这个Key-Value集合转入Reduce阶段，经过计算输出最终Key-Value结果集。
分类：
其他好文 时间：
2020-11-26 14:53:23
阅读次数：
6
