这里介绍两个常用的管理hadoop集群的脚本 hadoop集群启停脚本myhadoop.sh #!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start") echo " 启动 hadoop ...
分类：
其他好文 时间：
2021-05-04 15:28:54
阅读次数：
0
hadoop namenode的工作机制 https://blog.csdn.net/u010846741/article/details/52369527 《Hadoop管理一》checkpoint原理和过程 Standby Namenode Checkpoint过程剖析 ...
分类：
其他好文 时间：
2020-05-23 12:59:51
阅读次数：
51
1. 下载wordcount jar 文件 下载文件夹放置你的目录： https://github.com/yjy24/bigdata_learning/blob/master/hadoopMapRedSimple.zip 2. 启动 hadoop 管理员身份运行window cmd： 启动 Had ...
1.什么是Hadoop 管理网络中跨多台计算机存储的文件系统称为分布式文件系统面临的挑战：使文件系统能容忍节点故障且不丢失任何数据不适合的特点：低时间延迟的数据访问&大量的小文件&多用户写入，任意修改文件 2. HDFS的概念元数据hdfs的目录结构及每一个文件的块信息（块的ID,块的副本数量，块的 ...
分类：
其他好文 时间：
2019-03-16 09:39:18
阅读次数：
231
第一部分安装ssh服务更新源列表打开"终端窗口"，输入"sudoapt-getupdate"-->回车-->"输入当前登录用户的管理员密码"-->回车,就可以了。安装openssh-server在终端中输入:sudoapt-getinstallopenssh-server查看查看ssh服务是否启动打开"终端窗口
分类：
系统相关 时间：
2018-09-27 18:11:59
阅读次数：
200
Cloudera Cloudera Cloudera公司主要提供Apache Hadoop开发工程师认证（Cloudera CertifiedDeveloper for Apache Hadoop ，CCDH）和Apache Hadoop管理工程师认证（Cloudera CertifiedAdmin ...
分类：
Web程序 时间：
2018-09-01 15:14:54
阅读次数：
190
-help 功能：输出这个命令参数手册 -ls 功能：显示目录信息 示例： hadoop fs -ls hdfs://hadoop-server01:9000/ 备注：这些参数中，所有的hdfs路径都可以简写 -->hadoop fs -ls / 等同于上一条命令的效果 -mkdir 功能：在hdf ...
分类：
其他好文 时间：
2018-06-25 17:01:34
阅读次数：
167
一、官网下载hadoop http://hadoop.apache.orghttps://archive.apache.org/dist/hadoop/common/hadoop-2.6.0 管理员身份解压D:\Hadoop\hadoop-2.6.0二、winutils的下载还需要下载winutil ...
Apache Ambari 2.4 发布了，Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控（腾云科技ty300.com）。Ambari目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zooke ...
分类：
Web程序 时间：
2016-09-08 09:49:47
阅读次数：
220
基于对这些组件的深入理解，用户可以很容易通过调整一些关键参数使作业运行效率达到最优，本文将分别从Hadoop管理员和用户角度介绍如何对Hadoop进行性能调优以满足各自的需求。1概述Hadoop性能调优是一项工程浩大的工作，它不仅涉及Hadoop本身的性能调优，还涉及更加底层的硬件..
分类：
其他好文 时间：
2016-09-02 01:12:45
阅读次数：
413
