码迷,mamicode.com
首页 > 其他好文 > 详细

pySpark加载数据

时间:2018-06-30 19:49:42      阅读:218      评论:0      收藏:0      [点我收藏+]

标签:inf   localhost   技术   ima   image   local   books   加载   src   

1、加载本地文件

lines=sc.textFile(‘file:/home/pxy/data/GoodBooks.csv‘)
for line in lines.take(5):
    print line.encode(‘utf-8‘)

效果:

技术分享图片

2、从HDFS加载数据

lines=sc.textFile(‘hdfs://localhost:9000/pxy/film/GoodBooks.csv‘)
TopFive=lines.take(5)
for line in TopFive[1:]:
    print line.encode(‘utf-8‘)

效果:

技术分享图片

 

  

  

 

pySpark加载数据

标签:inf   localhost   技术   ima   image   local   books   加载   src   

原文地址:https://www.cnblogs.com/giserpan/p/9248399.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!