课前回顾 及 NFS 共享存储 一、Rsync 备份，基于ssh协议 备份的方式 全备：备份所有的（完整的）数据 增备：基于上一次备份，增量的数据 Rsync的三种工作模式 1.本地模式 类似于cp命令 加/和不加/的区别 加/：拷贝目录下的所有文件 不加/：拷贝目录本身及目录下的所有文件 2.远程 ...
分类：
其他好文 时间：
2019-08-18 17:17:30
阅读次数：
105
Hadoop的三种模式搭建 准备工作（对Linux客户机的操作） 安装Linux（centOS7） 关闭防火墙、IP主机名映射（vi /etc/hosts）、修改主机名（vi /etc/hostname） 安装jdk 配置环境变量 Hadoop本地模式（客户机1台） 1. 安装Hadoop 2. 配 ...
分类：
其他好文 时间：
2019-08-10 19:01:24
阅读次数：
96
第一部分：Linux环境安装 Hadoop是运行在Linux，虽然借助工具也可以运行在Windows上，但是建议还是运行在Linux系统上，第一部分介绍Linux环境的安装、配置、Java JDK安装等。 第二部分：Hadoop本地模式安装 Hadoop本地模式只是用于本地开发调试，或者快速安装体验 ...
分类：
其他好文 时间：
2019-07-26 19:40:40
阅读次数：
114
1、本地模式：默认模式 - 不对配置文件进行修改。 - 使用本地文件系统，而不是分布式文件系统。 - Hadoop不会启动NameNode、DataNode、ResourceManager、NodeManager等守护进程，Map()和Reduce()任务作为同一个进程的不同部分来执行的。 - 用于 ...
分类：
其他好文 时间：
2019-07-19 14:03:28
阅读次数：
142
Hadoop运行模式 （1）本地模式(默认模式): 不需要启用单独进程，直接可以运行,测试和开发时使用。 即在一台机器上进行操作，仅为单机版。 本地运行Hadoop官方MapReduce案例 操作命令: 执行案例: hadoop jar share/hadoop/mapreduce/hadoop-m ...
分类：
其他好文 时间：
2019-07-05 12:28:50
阅读次数：
164
idea上的maven中的pom.xml文件 mapper reducer worldcount 本地模式 需要将 words.txt里面的内容 左侧applications下是WorldApp ,在Program arguments 输入你的文件位置,格式见下图 (注意不应该出现中文字符) 开始两 ...
分类：
其他好文 时间：
2019-06-30 12:45:00
阅读次数：
367
1. Spring Boot下H2数据库的常用配置项 2. h2的内存模式与本地模式 本地文件模式 该例子中的 是用户目录。 内存模式 内存模式时，应用关闭则数据库同时关闭，数据库中的数据也就清空了。 3. H2的控制台 控制台界面如下： 端口号 访问H2的控制台时，URL中的端口号就是所在应用的端 ...
分类：
数据库 时间：
2019-06-19 23:18:37
阅读次数：
170
讨论QQ：1586558083 目录 一、分区的概念 二、为什么要进行分区 三、Spark分区原则及方法 3.1 本地模式 3.2 YARN模式 四、分区器 正文 回到顶部 一、分区的概念 分区是RDD内部并行计算的一个计算单元，RDD的数据集在逻辑上被划分为多个分片，每一个分片称为分区，分区的格式 ...
分类：
其他好文 时间：
2019-06-11 13:21:29
阅读次数：
119
1、传输jdk和Hadoop压缩包 2、解压jdk和hadoop压缩包 3、配置jdk环境和hadoop环境并生效 4、单机模式配置hadoop -env.sh：本地模式没有HDFS和Yarn，配置JDK后MapReduce能够运行java程序。 5、Hadoop伪分布式模式配置 一、5个配置文件 ...
分类：
其他好文 时间：
2019-05-26 17:51:23
阅读次数：
140
一.准备工作 1.需求 在wordcount程序中使用自定义combiner 解析mapreduce的流程 2.环境配置 (1)hadoop为本地模式 (2)pom文件代码如下 <dependencies> <dependency> <groupId>org.apache.hadoop</group ...
分类：
其他好文 时间：
2019-05-03 16:45:06
阅读次数：
250
