Hadoop之——HDFS随笔

时间：2015-05-21 22:42:56 阅读：175 评论：0 收藏：0 [点我收藏+]

转载请注明出处：http://blog.csdn.net/l1028386804/article/details/45896307

1.对hdfs的操作方式：hadoop fs xxx

hadoop fs -ls /   查看hdfs的根目录下的内容的
hadoop fs -lsr /   递归查看hdfs的根目录下的内容的
hadoop fs -mkdir /d1   在hdfs上创建文件夹d1
hadoop fs -put <linux source> <hdfs destination> 把数据从linux上传到hdfs的特定路径中
hadoop fs -get <hdfs source> <linux destination> 把数据从hdfs下载到linux的特定路径下
hadoop fs -text <hdfs文件>   查看hdfs中的文件
hadoop fs -rm       删除hdfs中文件
hadoop fs -rmr   删除hdfs中的文件夹

hadoop fs -ls hdfs://hadoop0:9000/

2.HDFS的datanode在存储数据时，如果原始文件大小>64MB,按照64MB大小切分；如果<64MB，只有一个block，占用磁盘空间是源文件实际大小。

3.RPC(remote procedure call)
不同java进程间的对象方法的调用。
一方称作服务端(server)，一方称作客户端(client)。
server端提供对象，供客户端调用的，被调用的对象的方法的执行发生在server端。

RPC是hadoop框架运行的基础。
4.通过rpc小例子获得的认识？
4.1 服务端提供的对象必须是一个接口，接口extends VersioinedProtocal
4.2 客户端能够的对象中的方法必须位于对象的接口中。

Hadoop之——HDFS随笔

标签：hadoop hdfs mapreduce namenode

原文地址：http://blog.csdn.net/l1028386804/article/details/45896307

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行