码迷,mamicode.com
首页 >  
搜索关键字:textfile    ( 261个结果
flink下沉数据到kafka
import it.bigdata.flink.study.SensorReding import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink.streaming.api.s ...
分类:其他好文   时间:2021-06-25 16:39:11    阅读次数:0
Spark RDD编程
1. 准备文本文件: 从文件创建RDD lines=sc.textFile(): 筛选出含某个单词的行 lines.filter(),lambda 参数:条件表达式: 2. 生成单词的列表: 从列表创建RDD words=sc.parallelize(): 筛选出长度大于2 的单词 words.fi ...
分类:其他好文   时间:2021-06-07 20:04:33    阅读次数:0
RDD编程
一、词频统计: 1.读文本文件生成RDD lines lines = sc.textFile('file:///home/hadoop/word.txt') 2.将一行一行的文本分割成单词 words flatmap() words=lines.flatMap(lambda line:line.sp ...
分类:其他好文   时间:2021-04-20 15:02:06    阅读次数:0
05 RDD编程
一、词频统计: 读文本文件生成RDD lines lines=sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt") lines.foreach(print) 将一行一行的文本分割成单词 words flatmap() words=lin ...
分类:其他好文   时间:2021-04-20 14:04:55    阅读次数:0
RDD练习:词频统计
一、词频统计: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() lines=sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt") words = lines.flatMa ...
分类:其他好文   时间:2021-04-06 15:08:22    阅读次数:0
RDD编程练习
一、filter,map,flatmap练习: 1.读文本文件生成RDD lines lines = sc.textFile('file:///home/hadoop/word.txt') lines.collect() 2.将一行一行的文本分割成单词 words words=lines.flatM ...
分类:其他好文   时间:2021-04-01 13:07:18    阅读次数:0
Spark RDD编程基础
准备文本文件从文件创建RDD lines=sc.textFile() 筛选出含某个单词的行 lines.filter()lambda 参数:条件表达式 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() ...
分类:其他好文   时间:2021-03-30 13:26:11    阅读次数:0
03 Spark RDD编程基础
1. 准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数:条件表达式 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() ...
分类:其他好文   时间:2021-03-30 13:18:46    阅读次数:0
Spark RDD编程基础
1. 准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter() 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() ...
分类:其他好文   时间:2021-03-30 13:05:37    阅读次数:0
03 Spark RDD基础编程
1. 准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数:条件表达式 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() ...
分类:其他好文   时间:2021-03-30 12:53:37    阅读次数:0
261条   1 2 3 4 ... 27 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!