码迷,mamicode.com
首页 > 其他好文 > 详细

(2)pyspark建立RDD以及读取文件成dataframe

时间:2018-10-09 13:29:00      阅读:1860      评论:0      收藏:0      [点我收藏+]

标签:分享   14.   dataframe   图片   height   alt   creat   http   rdd   

1、启动spark

技术分享图片

2、建立RDD:

技术分享图片


3、从text中读取,read.text

技术分享图片

技术分享图片

技术分享图片

4、从csv中读取:read.csv

技术分享图片

5、从json中读取:read.json

技术分享图片


7、RDD与Dataframe的转换 

(1)dataframe转换成rdd:

法一:datardd = dataDataframe.rdd

法二:datardd = sc.parallelize(_)

(2)rdd转换成dataframe:

dataDataFrame = spark.createDataFrame(datardd)

技术分享图片

技术分享图片

技术分享图片

 

(2)pyspark建立RDD以及读取文件成dataframe

标签:分享   14.   dataframe   图片   height   alt   creat   http   rdd   

原文地址:https://www.cnblogs.com/Lee-yl/p/9759657.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!