1.pandas df 与 spark df的相互转换 3.1 利用反射机制推断RDD模式 sc创建RDD 转换成Row元素，列名=值 spark.createDataFrame生成df df.show(), df.printSchema() 3.2 使用编程方式定义RDD模式 生成“表头” fie ...
分类：
其他好文 时间：
2021-05-24 06:12:56
阅读次数：
0
import java.util.Scanner; //输入并打印 public class ShuRuDaYin { public static void main(String[] args) { Scanner sc = new Scanner(System.in); System.out.p ...
分类：
其他好文 时间：
2021-04-30 11:58:37
阅读次数：
0
reduceByKey、groupByKey rdd=sc. parallelize([("one",1),("two",1),("one",1),("one1",1)]) rdd. reduceByKey(lambda x,y:x). count() rdd1=sc. parallelize([( ...
分类：
其他好文 时间：
2021-04-29 12:20:10
阅读次数：
0
笔试算法题中，有时候是要自己处理输入，比如从键盘中接收一个数，整理了一些常用的，真正笔试之前可以看一看。 输入 循环输入： Scanner sc = new Scanner(System.in); while (sc.hasNextLine()){ String s = sc.nextLine(); ...
分类：
编程语言 时间：
2021-04-23 12:06:51
阅读次数：
0
1、对RDD的分区重新进行划分：rdd1.coalesce(num,boolean) 1 val rdd1 = sc.parallelize(Array[String]("love1", "love2", "love3", "love4", "love5", "love6", "love7", "l ...
分类：
其他好文 时间：
2021-04-21 11:54:31
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD lines lines = sc.textFile('file:///home/hadoop/word.txt') 2.将一行一行的文本分割成单词 words flatmap() words=lines.flatMap(lambda line:line.sp ...
分类：
其他好文 时间：
2021-04-20 15:02:06
阅读次数：
0
一、词频统计： 读文本文件生成RDD lines lines=sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt") lines.foreach(print) 将一行一行的文本分割成单词 words flatmap() words=lin ...
分类：
其他好文 时间：
2021-04-20 14:04:55
阅读次数：
0
@ 问题描述 通过new Scanner(System.in).next();输入一段中文字符串并显示到控制台时，输出的总是一些00???@@@等之类的乱码。 代码如下： Scanner sc = new Scanner(System.in); System.out.println("请输入中文：" ...
分类：
编程语言 时间：
2021-04-19 15:13:17
阅读次数：
0
一、直接使用cmd来进行服务的一些操作 1、安装服务 sc create test3 binPath= "C:\Users\Administrator\Desktop\win32srvDemo\win32srvdemo\Debug\win32srvDemo.exe" 其中：test3为创建的服务名， ...
一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() lines=sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt") words = lines.flatMa ...
分类：
其他好文 时间：
2021-04-06 15:08:22
阅读次数：
0
