通用监控指标 对于每个RPC服务应该监控 RpcProcessingTimeAvgTime(PRC处理的平均时间) 通常hdfs在异常任务突发大量访问时，这个参数会突然变得很大，导致其他用户访问hdfs时，会感觉到卡顿，从而影响任务的执行时间 CallQueueLength(RPC Call队列的长 ...
分类：
其他好文 时间：
2020-05-18 20:44:08
阅读次数：
170
IDEA中的scala项目访问HDFS，程序运行，可能出现的异常： 权限问题：Permission denied: user=СÎ÷?Îè, access=WRITE, inode="/":hadoop:supergroup:drwxr-xr-x 修改运行时参数，因为HDFS上的文件所属的用户是ha ...
分类：
数据库 时间：
2019-12-26 19:33:00
阅读次数：
103
当需要从Hive等Hadoop集群迁移数据到GaussDB200集群时，因为数据量太大，可能无法导出到本地。此时需要GaussDB200跨集群读取HDFS上的数据，并写入GaussDB200集群。目前GaussDB200只支持跨集群访问FusionInsightHD中的HDFS。前提条件FusionInsightHD和GaussDB200两个集群状态正常并且可以互相通信。远端FusionInsig
分类：
数据库 时间：
2019-12-12 16:34:48
阅读次数：
212
HDFS是英文Hadoop Distributed File System的缩写，中文翻译为Hadoop分布式文件系统，它是实现分布式存储的一个系统，所以分布式存储有的特点，HDFS都会有，HDFS的架构图： 上图中HDFS的NameNode其实就是对应着分布式存储的Storage master，主 ...
分类：
其他好文 时间：
2019-10-28 10:45:47
阅读次数：
326
一、命令行接口 默认操作的是hdfs hadoop dfsadmin -safemode leave/enter 离开或进入安全模式 hadoop fs -copyFromLocal localfrom hdfsdest 从本地文件系统复制文件到hdfs hadoop fs -ls 可以通过指定UR ...
分类：
其他好文 时间：
2019-10-07 21:34:37
阅读次数：
97
查看进程 jps 访问hdfs: hadoop-root:50070 hdfs bash命令： hdfs dfs <1> -help: 显示命令的帮助的信息 <2> -mkdir:创建一个新目录 -p -mkdir -p /test1/test2：创建目录，p可以创建不存在的父路径 <3> -ls: ...
分类：
编程语言 时间：
2019-09-19 21:53:21
阅读次数：
133
在hue中访问hdfs报错： Cannot access: /. Note: you are a Hue admin but not a HDFS superuser, "hdfs" or part of HDFS supergroup, "supergroup". 原因： 解决方法： ...
分类：
其他好文 时间：
2019-07-08 00:19:52
阅读次数：
121
参考博客：https://www.cnblogs.com/Eddyer/p/6641778.html 1.需求 使用hdfs的javaAPI访问hdfs系统。 2.环境配置 (1)hadoop为本地模式 (2)pom文件代码如下 <dependencies> <dependency> <groupI ...
分类：
编程语言 时间：
2019-04-18 17:03:55
阅读次数：
310
项目地址 https://github.com/Alluxio/alluxio/tree/branch 2.0 preview 2.0版本 构思和设计 支持超大规模数据工作负载 Alluxio作为计算和存储之间的数据编排层，使数据移动并且可以跨多个不同的存储系统访问：HDFS，对象存储，网络附加存储 ...
分类：
其他好文 时间：
2019-03-12 21:20:18
阅读次数：
498
Hadoop分布式文件系统（HDFS）是一种分布式文件系统。它与现有的分布式文件系统有许多相似之处。但是，与其他分布式文件系统的差异是值得我们注意的：HDFS具有高度容错能力，旨在部署在低成本硬件上。(高容错)HDFS提供对数据的高吞吐量访问，适用于具有海量数据集的应用程序。（高吞吐量）HDFS放宽了一些POSIX要求，以实现对文件系统数据的流式访问。（流式访问）HDFS最初是作为ApacheNu
分类：
其他好文 时间：
2018-12-19 17:52:56
阅读次数：
167
