zookeeper:主要用于协调管理分布式应用程序; 1.实现master高可用;如果 active master由于异常宕机,zookeeper会检测到该宕机时间,并通过一定机制选举出新的master 2.管理系统核心元数据:当前系统中正常工作的regionserver集合,保存系统元数据表hba ...
分类:
数据库 时间:
2019-12-26 17:57:21
阅读次数:
139
Hbase启动出问题 2019-12-15 09:59:57,183 WARN [hadoop:16000.activeMasterManager] hdfs.DFSClient: DFS Read org.apache.hadoop.hdfs.BlockMissingException: Coul ...
分类:
其他好文 时间:
2019-12-15 23:53:26
阅读次数:
859
本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 。 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里云ECS服务器:master, slave1, slave2 操作系统:CentOS 7.3 Had ...
分类:
其他好文 时间:
2019-11-23 13:04:25
阅读次数:
81
Spring Boot(十八):使用Spring Boot集成FastDFS 环境:Spring Boot最新版本1.5.9、jdk使用1.8、tomcat8.0 功能:使用Spring Boot将文件上传到分布式文件系统FastDFS中。 一、pom包配置 加入了fastdfs-client-ja ...
分类:
编程语言 时间:
2019-01-15 14:35:23
阅读次数:
175
参考 官方网站:https://github.com/happyfish100/ 配置文档:https://github.com/happyfish100/fastdfs/wiki/ 参考资料:https://www.oschina.net/question/tag/fastdfs Java客户端: ...
分类:
Web程序 时间:
2019-01-13 00:19:48
阅读次数:
282
使用 find / -name libfdfsclient* 然后再 cp /usr/lib64/libfdfsclient.so /usr/lib/ 拷贝即可 ...
分类:
其他好文 时间:
2018-09-01 15:55:12
阅读次数:
102
在之前的环节进行了HDFS 的搭建过程,接下来学习的内容是通过java代码实现对HDFS中文件进行操作。 这部分学习是为了之后在使用到的MapRedce对HDFS 文件进行操作。 在eclipse上编写java代码对HDFS上的文件进行操作首先要在项目中进行jar包导入。这里我们通过建立maven项 ...
分类:
移动开发 时间:
2018-07-14 14:41:15
阅读次数:
1558
感觉程序员的世界真是一个变幻无常且精彩绝伦的世界,每次跑程序都会发现不一样的问题。今天跑MapReduce程序来统计邮箱次数时遇到了一个问题,明明一样的代码,别人能跑,我却跑不了。我相信,基本做这行的都遇到过这种问题。好了,话不多说,来聊聊今天的错误吧。 根据日志查看到报的错误为:No lease ...
分类:
其他好文 时间:
2018-04-02 16:01:44
阅读次数:
467
今天上传文件的时候发现传上去的文件为空,错误提示如上述所示,原来是IP地址改掉了对呀应etc/hosts下面的IP地址也要改变,永久改ip命令-ifconfig eth0 xxx·xxx·xxx·xxx up。改完IP即可同时ssh其他节点也可以成功 ...
分类:
Web程序 时间:
2017-05-16 23:08:12
阅读次数:
211
错误: 10/12/08 20:10:31 INFO hdfs.DFSClient: Could not obtain block blk_XXXXXXXXXXXXXXXXXXXXXX_YYYYYYYY from any node: java.io.IOException: No live node ...
分类:
编程语言 时间:
2016-10-09 00:29:38
阅读次数:
256