mvn install:install-file -DgroupId=com.hadoop.XXXXX -DartifactId=hadoop-XXXXX -Dversion=0.4XXXXX -Dpackaging=jar -Dfile=/hadoopXXXX.jar ...
分类：
编程语言 时间：
2021-04-05 12:04:49
阅读次数：
0
准备工作 下载地址-->http://kafka.apache.org/downloads -->总结之3步走 -->0.下载一个比较好入门的文件 不需要配置这配置那, 不需要导出找这找那... 傻瓜式,拿来可以直接运行的那种. -->0.5.预备工作,会在当前当前目录下打开命令行(PowerShe ...
分类：
其他好文 时间：
2021-04-01 13:27:01
阅读次数：
0
考的是某年 \(FJWC\) 的题。 \(T1\) 比较简单的构造题，但自己考试的时候犯了个 \(zz\) 错误，把边权搞错了，就只拿了 \(50\) 分。 \(T2\) 大数据结构题，一开始想打暴力的，但要分类讨论好多种情况，就没写。 \(T3\) 思维题，打死都想不出正解的那照片那种。 T1 直 ...
分类：
其他好文 时间：
2021-04-01 13:19:13
阅读次数：
0
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines lines = sc.textFile('file:///home/hadoop/word.txt') lines.collect() 2.将一行一行的文本分割成单词 words words=lines.flatM ...
分类：
其他好文 时间：
2021-04-01 13:07:18
阅读次数：
0
1.1 定义 Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue） ， 主要应用于大数据实时处理领域 1.2 消息队列 1.2.1 传统消息队列的应用场景 ? 使用消息队列的好处 1） 解耦允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 2） ...
分类：
其他好文 时间：
2021-03-30 13:07:59
阅读次数：
0
2.1 安装部署 2.1.1 集群规划 192.168.1.102 192.168.1.103 192.168.1.104 zookeeper zookeeper zookeeper kafka kafka kafka 2.1.2 jar 包下载 http://kafka.apache.org/do ...
分类：
其他好文 时间：
2021-03-30 13:07:22
阅读次数：
0
Hadoop集群 第三章 linux虚拟机 jdk 配置 1、查看并卸载主机原有JDK 1）查找并卸载 jdk 相关软件 rpm -qa | grep -i java | xargs -n1 rqm -e --nodeps rpm -qa：查看安装的所有 rpm 软件包 grep -i ：忽略大小写 ...
分类：
系统相关 时间：
2021-03-29 12:39:22
阅读次数：
0
2021-03-27 import java.util.ArrayList; import java.util.Collection; import java.util.Collections; import java.util.Map; import java.util.concurrent.Ex ...
分类：
编程语言 时间：
2021-03-29 12:35:39
阅读次数：
0
一、概念和基本架构 1.1 kafka介绍 Kafka在一个或多个可以跨越多个数据中心的服务器上作为集群运行。Kafka集群中按照主题分类管理，一个主题可以有多个分区，一个分区可以有多个副本分区。每个记录由一个键，一个值和一个时间戳组成。Kafka只有消息的拉取，没有推送，可以通过轮询实现消息的推送 ...
分类：
其他好文 时间：
2021-03-26 15:32:23
阅读次数：
0
前言 接上文，复习整理大数据相关知识点，这章节从MapReduce开始... MapReduce介绍 MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。 Map负责“分”，即把复杂的任务 ...
分类：
其他好文 时间：
2021-03-17 15:09:28
阅读次数：
0
