码迷,mamicode.com
首页 > 其他好文 > 详细

Spark:读取hdfs gz压缩包

时间:2016-11-20 07:14:39      阅读:259      评论:0      收藏:0      [点我收藏+]

标签:.gz   class   参考   span   detail   csdn   压缩包   dfs   .text   

spark 1.5.1是支持直接读取gz格式的压缩包的,和普通文件没有什么区别:

使用spark-shell进入spark shell 交互界面:

输入命令:

sc.textFile("\huawei\mr\20161120\880873\*.gz").foreach(println)

回车后是可以看到该目下很多个gz压缩包文件都被打印出来了。

 

 

参考文章:

http://blog.csdn.net/xuyaoqiaoyaoge/article/details/52943606

Spark:读取hdfs gz压缩包

标签:.gz   class   参考   span   detail   csdn   压缩包   dfs   .text   

原文地址:http://www.cnblogs.com/yy3b2007com/p/6082050.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!