词频统计： textFile包含了多行文本内容： textFile.flatMap(line => line.split(” “))会遍历textFile中的每行文本内容，当遍历到其中一行文本内容时，会把文本内容赋值给变量line，并执行Lamda表达式line => line.split(” “) ...
分类：
其他好文 时间：
2020-02-11 09:32:45
阅读次数：
65
分析： val textFile = Sc.textFile(“file///usr/local/spark/...”)加载本地文件，必须以“file：///”开头 Spark的惰性机制：执行上面的命令不会马上显示结果 只有遇到行动类型的操作，才会从头到尾执行所有操作，如：textFile.firs ...
分类：
其他好文 时间：
2020-02-11 09:21:30
阅读次数：
119
1．spark-shell交互式编程 （1） 该系总共有多少学生 scala> val lines = sc.textFile("file:///usr/local/spark/sparklab/Data01.txt") lines: org.apache.spark.rdd.RDD[String] ...
分类：
其他好文 时间：
2020-02-07 22:19:06
阅读次数：
182
1.该系总共有多少学生 val lines = sc.textFile("file:///usr/local/spark/sparksqldata/Data01.txt") val par = lines.map(row=>row.split(",")(0)) val distinct_par = ...
分类：
系统相关 时间：
2020-02-06 22:44:07
阅读次数：
106
经常有初学者 问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业 ...
分类：
其他好文 时间：
2020-02-06 16:18:55
阅读次数：
85
今天完成了实验任务四-RDD编程初级实践，先在网上查了一下资料。 Spark大数据处理的核心是RDD,RDD的全称为弹性分布式数据集，对数据的操作主要涉及RDD的创建、转换以及行动等操作，在Spark系列(二)中主要介绍了RDD根据SparkContext的textFile创建RDD的方法，本小节将 ...
分类：
其他好文 时间：
2020-02-06 14:52:42
阅读次数：
65
5.sc.textFiles() 与 sc.wholeTextFiles() 的区别 sc.textFile()是将path 里的所有文件内容读出，以文件中的每一行作为一条记录的方式,文件的每一行 相当于 列表 的一个元素，因此可以在每个partition中用for i in data的形式遍历处理 ...
分类：
其他好文 时间：
2020-02-05 18:20:06
阅读次数：
457
今天完成了实验任务三，主要学习了其中的Spark读取文件系统的数据。 在 spark-shell 中读取HDFS 系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数； scala>val textFile=sc.textFile("hdfs: ...
分类：
其他好文 时间：
2020-02-05 13:41:27
阅读次数：
70
使用 Spark Shell 编写代码 启动Spark Shell: 加载txt文件： 简单的RDD操作： //获取RDD文件textFile的第一行内容textFile.first() //获取RDD文件textFile所有项的计数textFile.count() //抽取含有“Spark”的行， ...
分类：
其他好文 时间：
2020-02-02 13:35:21
阅读次数：
101
这篇准备尝试RDD的编程操作。 spark运行用户从文件系统中加载数据、通过并行集合（数组）创建RDD，两种都是很方便的操作方式。 应对实验，我在创建了一个文本文件。内容包括—— 之后就是尝试创建RDD。 在pyspark中使用—— >>> students=sc.textFile("file:// ...
分类：
其他好文 时间：
2020-01-27 20:40:27
阅读次数：
78
