Apache概述 ''' Apache HTTPD Server 简称 Apache,是 Apache 软件基金会的一个开源的网页服务器, 可以在大多数计算机操作系统中运行,由于其多平台和安全性被广泛使用, 是最流行的 Web 服务器端软件之一。它快速、可靠并且可通过简单的 API 扩展,将 Per ...
分类:
Web程序 时间:
2020-07-05 19:25:06
阅读次数:
72
VirtualBox虚拟机文件默认存放位置在C盘,hadoop搭建完全分布需要多建立几个虚拟机,C盘就直接炸了,所以先改个默认路径吧。 1.选择全局设定 2.选择你想把虚拟机vdi存放的路径 重点:虚拟机文件迁移方法 1.先把你的某个虚拟机的整个文件夹拷贝到你的目录下去,比如这是我拷过来的文件夹。 ...
分类:
其他好文 时间:
2020-07-05 15:40:50
阅读次数:
90
==背景== 阿里云ECS服务器提示“ZooKeeper未授权访问高危风险” ==相关组件及版本== Linux:Centos 8.0 Zookeeper:3.5.6 Hadoop:2.8.3 Flink:1.10.0 ==Zookeeper ACL介绍== 网上随便找一个网站看看就应该可以了解了, ...
分类:
其他好文 时间:
2020-07-05 15:23:42
阅读次数:
207
##1. 引入jar包时排除掉jar包冲突 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>${hadoop-version}</version> <exc ...
分类:
其他好文 时间:
2020-07-05 13:24:51
阅读次数:
48
一、简介JStorm是一个分布式实时计算引擎。JStorm是一个类似于Hadoop MapReduce的系统,用户按照指定的接口实现一个任务,然后将这个任务交给JStorm系统,JStorm将这个任务跑起来,并按7*24小时运行。如果中间一个worker发生了意外故障,调度器立即分配一个新的work ...
分类:
Web程序 时间:
2020-07-04 20:35:29
阅读次数:
54
hbase2.1.9 centos7 完全分布式 搭建随记 这里是当初在三个ECS节点上搭建hadoop+zookeeper+hbase+solr的主要步骤,文章内容未经过润色,请参考的同学搭配其他博客一同使用,并记得根据实际情况调整相关参数 1. 指定位置解压 2. vi /etc/profile ...
分类:
其他好文 时间:
2020-07-04 19:08:39
阅读次数:
90
Hadoop2.7.7 centos7 完全分布式 配置与问题随记 这里是当初在三个ECS节点上搭建hadoop+zookeeper+hbase+solr的主要步骤,文章内容未经过润色,请参考的同学搭配其他博客一同使用,并记得根据实际情况调整相关参数。 0.prepare jdk,推荐1.8 关闭防 ...
分类:
其他好文 时间:
2020-07-04 18:52:39
阅读次数:
80
zookeeper3.5.5 centos7 完全分布式 搭建随记 这里是当初在三个ECS节点上搭建hadoop+zookeeper+hbase+solr的主要步骤,文章内容未经过润色,请参考的同学搭配其他博客一同使用,并记得根据实际情况调整相关参数 0.prepare 准备奇数台已经配置好jdk的 ...
分类:
其他好文 时间:
2020-07-04 18:40:31
阅读次数:
95
启动集群及监控 进入目录 cd /usr/local/hadoop-2.6.5/sbin/ 启动整个集群组件 ./start-dfs.sh 启动yarn集群 ./start-yarn.sh 启动日志服务 ./mr-jobhistory-daemon.sh start historyserver 查看 ...
分类:
其他好文 时间:
2020-07-04 16:57:27
阅读次数:
64
(1)MR程序提交到客户端所在的节点。(2)YarnRunner向ResourceManager申请一个Application。(3)RM将该应用程序的资源路径返回给YarnRunner。(4)该程序将运行所需资源提交到HDFS上。(5)程序资源提交完毕后,申请运行mrAppMaster。(6)RM ...
分类:
其他好文 时间:
2020-07-04 15:14:37
阅读次数:
54