常见的Hadoop和Ceph的命令总结

时间：2015-08-15 16:08:38 阅读：224 评论：0 收藏：0 [点我收藏+]

标签：

Hadoop

检查nm是否存活，bin/yarn node list

删除目录，hadoop dfs -rm -r /directory

hadoop classpath 可以查看所有的类的路径

Hadoop离开安全模式的方法：hadoop dfsadmin -safemode leave

 wordcount 程序：
        生成随机文本     bin/hadoop jar  hadoop-mapreduce-examples-2.4.1.jar randomtextwriter -Dmapreduce.randomtextwriter.totalbytes=8589934592 /usr/mrinput  
         wordcount测试   time bin/hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount /usr/mrinput /usr/mroutput      
       terasort 程序：  
       生成待排序数据  bin/hadoop jar hadoop-mapreduce-examples-2.4.1.jar teragen 4589934592 terasort/2-input  
       terasort程序运行     hadoop jar hadoop-mapreduce-examples-2.4.1.jar terasort -Dmapred.reduce.tasks=4 terasort/2-input terasort/1G-outputs 

 	

ceph

				David的脚本：			 
 

mount ceph文件系统			 
sudo mount.ceph 10.196.131.238:6789:/ ~/ -o name=admin,secret=AQDFWMBVuwkXARAA/O8kdBTVoCuterXiRMtmrg==			 

创建一个cephfs，ceph fs new cephfs hadoop1 hadoop2   
 		

rados -p poolname ls 可以查看有哪些object。

rados -p hadoop2 stat 1000000109d.00000b2a 可以查看object的信息。

创建pool：ceph osd pool create hadoop1 1320 1320

查看pool列表：ceph osd pool ls

设置pool的size ceph osd pool set hadoop1 size 3

ceph osd tree 查看osd列表信息

ceph mds add_pool hadoop2

ceph mds rm 0 mds.tdw-xxx

mds gid 0 dne

删除一个cephfs的方法：

sudo /etc/init.d/ceph stop mds.c223
ceph mds rm 0 mds.c223
ceph mds newfs 1 2 --yes-i-really-mean-it
ceph fs rm cephfs --yes-i-really-mean-it
sudo ceph osd pool delete cephfs_data cephfs_data --yes-i-really-really-mean-it
sudo ceph osd pool delete cephfs_metadata cephfs_metadata --yes-i-really-really-mean-it

查看 auth列表，ceph auth list

修改client.admin里面访问mds的权限：

ceph auth caps client.admin mon ‘allow *‘ mds ‘allow *‘ osd ‘allow *‘
updated caps for client.admin
ceph tell mds.tdw-xxx injectargs -- --debug-mds-log 20

ceph tell mds.tdw-xxx injectargs -- --debug-mds 20

sgdisk -Z /dev/sdk 可以清除sdk的信息
uuidgen可以产生一个唯一的id

安装rzsz yum install lrzsz

查看有哪些包已经安装上 yum list installed

查看该包安装到了哪些路径 yum -ql cephfs-java

java企业级通用权限安全框架源码 SpringMVC mybatis or hibernate+ehcache shiro druid bootstrap HTML5

【java框架源码下载】

常见的Hadoop和Ceph的命令总结

标签：

原文地址：http://www.cnblogs.com/xiabbbs/p/4732534.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行