码迷,mamicode.com
首页 > 其他好文 > 详细

pyspark 学习 Tips

时间:2018-10-24 15:34:37      阅读:97      评论:0      收藏:0      [点我收藏+]

标签:.text   lin   park   nes   word   文件   line   cal   style   

注意在pyspark中,要加载本地文件,必须采用“file:///”开头的这种格式执行第一条命令以后,并不会马上显示结果,因为,Spark采用惰性机制,只有遇到“行动”类型的操作,才会从头到尾执行所有操作。所以,下面我们执行一条“行动”类型的语句,就可以看到结果

eg:

1  lines = sc.textFile(file:///usr/local/spark/mycode/rdd/word.txt)      
2  lines.first() 

 

pyspark 学习 Tips

标签:.text   lin   park   nes   word   文件   line   cal   style   

原文地址:https://www.cnblogs.com/Ray-Lei/p/9842563.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!