码迷,mamicode.com
首页 > 其他好文 > 详细

最快速创建大量hdfs目录

时间:2019-08-30 18:48:07      阅读:73      评论:0      收藏:0      [点我收藏+]

标签:最快   mysq   目录   方式   请求   过多   因此   配置   bsp   

需要创建大量hdfs目录的原因:配置canal拿取mysql的binlog日志上传到hdfs目录。每一张表都需要一个hdfs目录,因此需要创建很多。

正常创建目录都是使用

hadoop fs -mkdir -p /aa/bb/01

少数目录可以这么创建,但是目录过多创建就会很慢,因为创建一个目录就需要去请求一次hadoop fs 。

快速创建大量hdfs方法:

在执行hql的地方执行

dfs -mkdir -p /aa/bb/01; 

这是一个hql,只需要连接上就不需要多次请求连接了。比第一种方式快速很多。

把需要的创建的hdfs目录写入一个文件,用beeline -f直接一次创建。

文件test里面的内容是

dfs -mkdir -p /aa/bb/01; 

dfs -mkdir -p /aa/bb/02;

dfs -mkdir -p /aa/bb/03;  

执行命令

beeline -f test

结束。

因为笔者需要创建近万个hdfs目录,如果用第一种方式创建需要几天,如果用第二种方式几小时搞定吧。

最快速创建大量hdfs目录

标签:最快   mysq   目录   方式   请求   过多   因此   配置   bsp   

原文地址:https://www.cnblogs.com/singsong-ss/p/11436430.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!