一、filter,map,flatmap练习： 1.读文本文件生成RDD lines lines = sc.textFile('file:///home/hadoop/word.txt') lines.collect() 2.将一行一行的文本分割成单词 words words=lines.flatM ...
分类：
其他好文 时间：
2021-04-01 13:07:18
阅读次数：
0
Eclipse中的快捷键(默认)： 1.补全代码的声明：alt + / 2.快速修复: ctrl + 1 3.使用单行注释：ctrl + / 4.使用多行注释： ctrl + shift + / 5.取消多行注释：ctrl + shift + \ 6.复制指定行的代码：ctrl + alt + do ...
分类：
系统相关 时间：
2021-03-29 12:43:43
阅读次数：
0
Hadoop集群 第三章 linux虚拟机 jdk 配置 1、查看并卸载主机原有JDK 1）查找并卸载 jdk 相关软件 rpm -qa | grep -i java | xargs -n1 rqm -e --nodeps rpm -qa：查看安装的所有 rpm 软件包 grep -i ：忽略大小写 ...
分类：
系统相关 时间：
2021-03-29 12:39:22
阅读次数：
0
1、下载Eclipse 下载地址：https://www.eclipse.org/downloads/ 2、下载JDK https://www.oracle.com/java/technologies/javase-downloads.html 3、配置JAVA环境变量 右键【我的电脑】 【属性】 ...
分类：
编程语言 时间：
2021-03-18 14:46:05
阅读次数：
0
xunxue1523 2020-02-27 21:22:18 3891 收藏 4分类专栏： javaweb 工具类 文章标签： Eclipse jee下载 提供国内清华大学镜像点下载 Eclipsejee国内下载 Eclipse 清华大学镜像点下载版权清华大学网站镜像网站资料https://mirr ...
分类：
系统相关 时间：
2021-03-18 14:03:04
阅读次数：
0
前言 接上文，复习整理大数据相关知识点，这章节从MapReduce开始... MapReduce介绍 MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。 Map负责“分”，即把复杂的任务 ...
分类：
其他好文 时间：
2021-03-17 15:09:28
阅读次数：
0
进入IDEA 的工具下会发现有四个选项 其中第一个就是创建一个新的Java工程 第二个是导入一个工程 第三个是打开一个已有工程比如打开Eclipse项目 check out from version control 通过服务器的项目地址导入项目，可以是gethub上的项目 同时需要说明IDEA的项目 ...
分类：
其他好文 时间：
2021-03-17 14:09:51
阅读次数：
0
1、为什么要引入Yarn和Spark。 (1)现有的hadoop生态系统中存在的问题 1）使用mapreduce进行批量离线分析； 2）使用hive进行历史数据的分析； 3）使用hbase进行实时数据的查询； 4）使用storm进行实时的流处理； (2)选用spark的原因 1） 应用于流式计算的S ...
分类：
其他好文 时间：
2021-03-16 13:32:12
阅读次数：
0
1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 HDFS是Hadoop体系中数据存储管理的基础，它是一个高度容错的系统，能检测和应对硬件故障，在低成本的通用硬件上运行。 HBase构建在HDFS之上 ...
分类：
其他好文 时间：
2021-03-16 13:21:18
阅读次数：
0
以表的操作和单条记录的增删改查为基础。 批量操作，需要进行进一步封装。 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.clie ...
分类：
编程语言 时间：
2021-03-15 11:32:26
阅读次数：
0
