标签:.gz class 参考 span detail csdn 压缩包 dfs .text
spark 1.5.1是支持直接读取gz格式的压缩包的,和普通文件没有什么区别:
使用spark-shell进入spark shell 交互界面:
输入命令:
sc.textFile("\huawei\mr\20161120\880873\*.gz").foreach(println)
回车后是可以看到该目下很多个gz压缩包文件都被打印出来了。
参考文章:
http://blog.csdn.net/xuyaoqiaoyaoge/article/details/52943606
标签:.gz class 参考 span detail csdn 压缩包 dfs .text
原文地址:http://www.cnblogs.com/yy3b2007com/p/6082050.html