码迷,mamicode.com
首页 >  
搜索关键字:hadoop map reduce 分区 分组    ( 64817个结果
Java 输入输出流,Java InputStream FileInputStream OutputStream FileOutputStream
Java 输入输出流,Java InputStream FileInputStream OutputStream FileOutputStream ©Copyright 蕃薯耀 2021-04-20 https://www.cnblogs.com/fanshuyao/ 一、字节流和文件流使用,实现文 ...
分类:编程语言   时间:2021-04-21 12:36:15    阅读次数:0
计算机网络-谢希仁-第一章
1.1 计算机网络在信息时代的作用 互联网具有两个重要特性 : 连通性 资源共享 1.2 互联网概述 1.2.1 网络的 网络 计算机网络(简称网络)由若干结点和链接它们的链路组成.网络的结点可以是计算机, 集线器, 交换机, 或路由器等. 如图 : 给出了一个具有四个结点和三条链路的网络.我们看到 ...
分类:其他好文   时间:2021-04-21 12:17:00    阅读次数:0
Sqoop 的安装使用
1:下载地址 http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/ 2:上传压缩包 scp sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz root@hadoop2:/opt/software 3:解压并重命名 tar - ...
分类:其他好文   时间:2021-04-21 12:09:16    阅读次数:0
kafak配置说明
spring: kafka: bootstrap-servers: 112.126.74.249:9092,112.126.74.249:9093 ###########【初始化生产者配置】########### producer: # 应答级别:多少个分区副本备份完成时向生产者发送ack确认(可选 ...
分类:其他好文   时间:2021-04-21 12:08:09    阅读次数:0
05RDD
读文本文件生成RDD lines 将一行一行的文本分割成单词 words flatmap() 全部转换为小写 lower() 去掉长度小于3的单词 filter() 去掉停用词 转换成键值对 map() 统计词频 reduceByKey() 按字母顺序排序 sortBy(f) 按词频排序 sortB ...
分类:其他好文   时间:2021-04-21 12:03:05    阅读次数:0
Transfor类算子(转换类算子)
1、对RDD的分区重新进行划分:rdd1.coalesce(num,boolean) 1 val rdd1 = sc.parallelize(Array[String]("love1", "love2", "love3", "love4", "love5", "love6", "love7", "l ...
分类:其他好文   时间:2021-04-21 11:54:31    阅读次数:0
05 RDD编程2
一、词频统计: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 8.按字母顺序 ...
分类:其他好文   时间:2021-04-20 15:35:56    阅读次数:0
05 RDD编程
一、词频统计: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 8.按字母顺序 ...
分类:其他好文   时间:2021-04-20 15:35:16    阅读次数:0
逆向初级-硬编码(六)
6.1.前缀指令 1、硬编码的结构 2、前缀指令是分组的 <1> LOCK和REPEAT前缀指令: LOCK FO REPNE/REPNZ F2 REP/REPZ F3 <2> 段前缀指令: CS(2E) SS(36) DS(3E) ES(26) FS(64) GS(65) <3>操作数宽度前缀指令 ...
分类:其他好文   时间:2021-04-20 15:28:55    阅读次数:0
RDD编程
1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 8.按字母顺序排序 sortB ...
分类:其他好文   时间:2021-04-20 15:17:39    阅读次数:0
64817条   上一页 1 ... 36 37 38 39 40 ... 6482 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!