@ 前言-MR概述 MapReduce是一个分布式计算框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。主要由两部分组成：编程模型和运行时环 境。其中，编程模型为用户提供了非常易用的编程接口，用户只需要像编写串行程序 一样实现几个简单的函数即可实现一个分布式程序，而其他比较复杂的工作，如 ...
分类：
其他好文 时间：
2021-06-02 19:46:24
阅读次数：
0
环境： 应用 IP 操作系统 nginx 192.168.23.148 centos8 mysql 192.168.23.142 centos8 php 192.168.23.143 centos8 准备工作 //关闭防火墙与selinux nginx [root@nginx ]# systemct ...
分类：
其他好文 时间：
2021-06-02 17:29:58
阅读次数：
0
liunx下redis下载编译安装 介绍 redis官网地址 https://redis.io/ redis下载地址 http://download.redis.io/releases/redis-5.0.5.tar.gz 可以本地下载然后filezila上传上去，或者liunx里面wget下载 解 ...
分类：
系统相关 时间：
2021-06-02 16:42:09
阅读次数：
0
集群网络配置 分别设置修改主机名 master slave1 slave2 hostnamectl set-hostname 名字 分别配置/etc/hosts文件 查看openssh和rsync安装 rpm -qa | grep 名字 切换到Hadoop用户 各节点生成秘钥 ssh-keygen ...
分类：
系统相关 时间：
2021-06-02 15:27:52
阅读次数：
0
下载，解压rabbitmq-c源码 wget -c https://github.com/alanxz/rabbitmq-c/archive/v0.9.0.tar.gz tar -zxvf v0.9.0.tar.gz 配置，编译，安装 cd rabbitmq-c-0.9.0/ mkdir build ...
分类：
Web程序 时间：
2021-06-02 14:50:02
阅读次数：
0
hadoop 1.0 1. 创建用户hadoop 2. 下载： curl -o hadoop-1.2.1-bin.tar.gz https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz 3. ...
分类：
其他好文 时间：
2021-06-02 14:05:53
阅读次数：
0
一、大数据分析工具——Hadoop Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop是高效的，因为它 ...
分类：
其他好文 时间：
2021-06-02 13:17:23
阅读次数：
0
MySQL安装方式：二进制安装（源码编译安装、yum 、rpm） MySQL运行用户： mysql:mysql 注意该用户是虚拟用户，只是用于mysql进程运行使用，不允许登录、不创建家目录 useradd -s /sbin/nologin -M mysql MySQL目录规范： 下载目录 /ser ...
分类：
数据库 时间：
2021-06-02 12:18:28
阅读次数：
0
安装准备 Spark 集群和 Hadoop 类似，也是采用主从架构，Spark 中的主服务器进程就叫 Master（standalone 模式），从服务器进程叫 Worker Spark 集群规划如下： node-01：Master node-02：Worker node-03：Worker 安装步 ...
分类：
其他好文 时间：
2021-05-24 17:07:05
阅读次数：
0
启动hive时，show databases; 然后报错： 查看自己的配置文件没有问题(hbase-site.xml中配置的mysql账号信息与mysql账号信息一致)，于是乎看别人的解决方法： 第一种解决办法（失败）[1]： 由于没有初始化数据库导致，执行名称初始化数据库，执行命令： schema ...
分类：
数据库 时间：
2021-05-24 16:48:31
阅读次数：
0
