//练习sparkstreaming监听socket端口 //手写wordcount java代码 package com.swust.streaming; import org.apache.spark.SparkConf; import org.apache.spark.api.java.Jav ...
分类：
其他好文 时间：
2020-04-23 11:49:08
阅读次数：
59
package com.atguigu.bigdata.spark import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: ...
分类：
其他好文 时间：
2020-04-19 18:04:25
阅读次数：
66
1.环境hadoop-2.6.0 spak2.1.1 scala-sdk-2.11.12 2.maven项目创建 3.pom 4.阿里云settings配置 <?xml version="1.0"?> <settings xsi:schemaLocation="http://maven.apache ...
分类：
其他好文 时间：
2020-04-02 19:37:02
阅读次数：
213
WordCount是大数据学习最好的入门demo，今天就一起开发java版本的WordCount，然后提交到Spark3.0.0环境运行； 版本信息 OS： Window7 JAVA：1.8.0_181 Hadoop：3.2.1 Spark: 3.0.0-preview2-bin-hadoop3.2 ...
# 使用SparkSQL编写wordCount的词频统计 ## word.txt```hello hello scala sparkjava sql html java hellojack jack tom tom you he he sql``` ## spark 代码：```objec ...
分类：
数据库 时间：
2020-03-30 21:50:35
阅读次数：
213
1-MapReduce介绍 2-MapReduce的构思和框架结构 3-MapReduce的编程规范 4-MapReduce案例-wordcount-步骤分析 5-MapReduce案例-wordcount-准备工作 ...
分类：
其他好文 时间：
2020-03-27 15:33:33
阅读次数：
85
WordCount(Java实现) Github：https://github.com/Naren-Github66/WordCount 项目相关要求 1. 题目描述 Word Count 实现一个简单而完整的软件工具（源程序特征统计程序）。 进行单元测试、回归测试、效能测试，在实现上述程序的过程中 ...
分类：
其他好文 时间：
2020-03-25 01:19:30
阅读次数：
63
一、 Github地址： https://github.com/huihuigo/wc 二、 解题思路 功能分析 wc.exe -c file.c //返回文件 file.c 的字符数 wc.exe -w file.c //返回文件 file.c 的词的数目 wc.exe -l file.c //返 ...
分类：
其他好文 时间：
2020-03-24 18:38:09
阅读次数：
79
Github项目地址：https://github.com/bravedreamer/wordCount/tree/master/wc 一、题目描述： Word Count1. 实现一个简单而完整的软件工具（源程序特征统计程序）。2. 进行单元测试、回归测试、效能测试，在实现上述程序的过程中使用相关 ...
分类：
其他好文 时间：
2020-03-24 13:10:45
阅读次数：
69
Flink中的状态 算子状态（Operatior State） 键控状态（Keyed State） 状态后端（State Backends） 有状态的流式处理（可以是有状态（如一段时间内温度连续上升就报警；wordcount计算）、也可以是无转态（基于某个独立数据事件做处理直接输出，来一个处理一个， ...
分类：
其他好文 时间：
2020-03-24 00:59:06
阅读次数：
293
