此文已由作者赵计刚薪授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 说明：垃圾回收算法是理论，垃圾收集器是回收算法的实现，关于回收算法，见《第四章 JVM垃圾回收算法》 1、七种垃圾收集器 Serial（串行GC）-- 复制ParNew（并行GC）-- 复制Parallel ...
分类：
其他好文 时间：
2018-12-06 20:41:50
阅读次数：
264
一、环境 硬件：虚拟机VMware、win7 操作系统：Centos-7 64位 主机名： hadoopServerOne 安装用户：root软件：jdk1.8.0_181、Hadoop-2.9.2 二、安装jdk 1.创建hadoop目录，并赋权限chmod 777 hadoop2.下载jdk-8 ...
分类：
其他好文 时间：
2018-11-28 01:10:52
阅读次数：
352
一.环境说明和使用软件的版本说明: hadoop-version:hadoop-2.9.0.tar.gz spark-version:spark-2.2.0-bin-hadoop2.7.tgz java-version:jdk1.8.0_151 集群环境：单机伪分布式环境。 二.适用背景 在学习Sp ...
分类：
编程语言 时间：
2018-11-25 17:49:10
阅读次数：
258
1 依赖项 java ssh 2 安装和配置 这里使用2.9.1版本：http://www.apache.org/dyn/closer.cgi/hadoop/common/ 2.1 单机版配置 默认情况下Hadoop就是起一个java进程来运行单机版的，到这里可以使用单机版了，不需要额外的配置。 官 ...
分类：
其他好文 时间：
2018-11-18 21:03:06
阅读次数：
171
Hbase伪分布式（成功实施）hadoop集群正常，zookeeper集群正常 修改Hbase-env.sh的JAVA_HOME,改成绝对路径。 并修改export HBASE_MANAGES_ZK=false 修改环境变量HBASE_HOME 修改hbase-site.xml 添加 <proper ...
分类：
其他好文 时间：
2018-11-18 14:16:27
阅读次数：
167
内容 由于前两节的内容我们知道，开启了preferIpAddress后，Eureka的伪分布式部署会提示replica不可用。这一节我们讲解如何在生产环境下部署完全分布式的Eureka集群，确保开启了preferIpAddress后replica的可用性。 版本 IDE：IDEA 2017.2.2 ...
分类：
编程语言 时间：
2018-11-11 12:15:33
阅读次数：
292
1. 安装步骤 Kafka伪分布式安装的思路跟Zookeeper的伪分布式安装思路完全一样，不过比Zookeeper稍微简单些(不需要创建myid文件), 主要是针对每个Kafka服务器配置一个单独的server.properties，三个服务器分别使用server.properties，serve ...
分类：
其他好文 时间：
2018-11-08 10:55:04
阅读次数：
146
一、安装Hadoop插件 1. 所需环境 hadoop2.0伪分布式环境平台正常运行 所需压缩包：eclipse-jee-luna-SR2-linux-gtk-x86_64.tar.gz 在Linux环境下运行的eclipse软件压缩包,解压后文件名为eclipse hadoop2x-eclipse ...
分类：
系统相关 时间：
2018-10-31 23:25:21
阅读次数：
339
> 1.Linux设置静态IP地址 > 2.修改主机名和映射文件 > 3.SSH免密码配置 > 4.Linux系统JDK的安装和配置 > 5.Hadoop伪分布式配置和测试 > 5.1 测试hdfs和yarn ...
分类：
其他好文 时间：
2018-10-24 22:28:35
阅读次数：
355
