第二章.HDFS 1.大数据的两个核心技术 2.HDFS设计目标 3.HDFS自身的局限性 4.HDFS采用块设计以及采用块设计的好处 5.HDFS组成架构 6.元数据信息被持久化到磁盘分为哪两个文件 7.第二名称节点的作用 8.名称节点,数据节点的功能 待补充 9.副本机制、数据容错机制、心跳机制 ...
分类:
其他好文 时间:
2021-06-28 20:29:20
阅读次数:
0
使用Jmeter进行压力测试 官网:https://jmeter.apache.org/ 1. 介绍 ? Apache JMeter是Apache组织开发的基于Java的压力测试工具。用于对软件做压力测试,它最初被设计用于Web应用测试,但后来扩展到其他测试领域。 它可以用于测试静态和动态资源,例如 ...
分类:
其他好文 时间:
2021-06-28 20:16:09
阅读次数:
0
1.配置 pom <shiro.version>1.4.0</shiro.version> <!--shiro start--> <dependency> <groupId>org.apache.shiro</groupId> <artifactId>shiro-core</artifactId> ...
分类:
编程语言 时间:
2021-06-28 19:50:46
阅读次数:
0
1. 基于Tomcat9的安装 or 解压 2.目录结构 启动和关闭服务 apache-tomcat-9.0.48\bin bin目录下的startup.bash以及shutdown.sh 3.配置 可能遇到的问题: Java环境变量没有配置 闪退问题:需要配置兼容性 乱码问题:配置文件中设置 可以 ...
分类:
其他好文 时间:
2021-06-28 19:16:36
阅读次数:
0
并发编程-ThreadLocal&ForkJoinPool(使用以及原理分析) 本章只要聊聊两个东西,这里会给出如何使用他们,并且分析各自的源码以及原理。 【ThreadLocal】:在指定线程中存储数据,数据存储后只有指定线程可以获得 【ForkJoinpool】:实际上他类似于【hadoop】他 ...
分类:
其他好文 时间:
2021-06-28 18:58:16
阅读次数:
0
一、大数据的基本特征(4V,存储单位) 二、大数据对思维方式的影响 三、Google 三辆马车是什么? Google的文件系统GFS(Google File System)、分布式计算框架MapReduce、Bigtable 四、Hadoop 是什么,基本特征 基本特征: 五、Hadoop 生态系统 ...
分类:
其他好文 时间:
2021-06-28 18:27:13
阅读次数:
0
集群时间同步 **如果服务器在公网环境(能连接外网),可以不采用集群时间同步。**因为服务器会定期和公网时间进行校准。 如果服务器在内网环境,必须要配置集群时间同步,否则时间久了,会产生时间偏差,导致集群执行任务时间不同步。 时间服务器配置(必须root用户) 首先需要设置一个时间服务器作为基准,其 ...
分类:
其他好文 时间:
2021-06-28 17:56:59
阅读次数:
0
BeanUtils.copyProperties引入不同的包,赋值顺序不同举例BeanUtils.copyProperties(a, b)1、当引入org.springframework.beans.BeanUtils时,a拷贝到b2、当引入org.apache.commons.beanutils. ...
分类:
其他好文 时间:
2021-06-28 17:44:13
阅读次数:
0
基本知识:Sqoop导出的基本用法:https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_syntax_4 的10. sqoop-export 内容摘要:本文主要是对--update-mode参数的用法进行了验证。结论如下: --updat ...
分类:
数据库 时间:
2021-06-25 17:26:06
阅读次数:
0
import com.alibaba.fastjson.JSON; import org.apache.commons.lang.StringUtils; import org.apache.http.HttpEntity; import org.apache.http.HttpResponse; ...
分类:
Web程序 时间:
2021-06-25 17:08:46
阅读次数:
0