感觉自己越来越像个运维了，真的是所有的分布式的中间件基本都搭建了一遍 不得了了。 好 废话少说 ， 还是来走Kafka 吧 ， 经历了Rocket MQ ， Kafka 的搭建真的是简单的不知道多少倍 ， RocketMQ 实在 是太麻烦了。 还是老方案 ， 先登录官网。 https://archi ...
分类：
其他好文 时间：
2018-12-26 01:10:20
阅读次数：
217
此文已由作者赵计刚薪授权网易云社区发布。 欢迎访问网易云社区，了解更多网易技术产品运营经验。 说明：垃圾回收算法是理论，垃圾收集器是回收算法的实现，关于回收算法，见《第四章 JVM垃圾回收算法》 1、七种垃圾收集器 Serial（串行GC）-- 复制ParNew（并行GC）-- 复制Parallel ...
分类：
其他好文 时间：
2018-12-06 20:41:50
阅读次数：
264
一、环境 硬件：虚拟机VMware、win7 操作系统：Centos-7 64位 主机名： hadoopServerOne 安装用户：root软件：jdk1.8.0_181、Hadoop-2.9.2 二、安装jdk 1.创建hadoop目录，并赋权限chmod 777 hadoop2.下载jdk-8 ...
分类：
其他好文 时间：
2018-11-28 01:10:52
阅读次数：
352
一.环境说明和使用软件的版本说明: hadoop-version:hadoop-2.9.0.tar.gz spark-version:spark-2.2.0-bin-hadoop2.7.tgz java-version:jdk1.8.0_151 集群环境：单机伪分布式环境。 二.适用背景 在学习Sp ...
分类：
编程语言 时间：
2018-11-25 17:49:10
阅读次数：
258
1 依赖项 java ssh 2 安装和配置 这里使用2.9.1版本：http://www.apache.org/dyn/closer.cgi/hadoop/common/ 2.1 单机版配置 默认情况下Hadoop就是起一个java进程来运行单机版的，到这里可以使用单机版了，不需要额外的配置。 官 ...
分类：
其他好文 时间：
2018-11-18 21:03:06
阅读次数：
171
Hbase伪分布式（成功实施）hadoop集群正常，zookeeper集群正常 修改Hbase-env.sh的JAVA_HOME,改成绝对路径。 并修改export HBASE_MANAGES_ZK=false 修改环境变量HBASE_HOME 修改hbase-site.xml 添加 <proper ...
分类：
其他好文 时间：
2018-11-18 14:16:27
阅读次数：
167
操作背景 jdk的版本为1.8以上 ubuntu12 hadoop2.5伪分布 安装 Hadoop-Eclipse-Plugin 要在 Eclipse 上编译和运行 MapReduce 程序，需要安装 hadoop-eclipse-plugin，可下载 Github 上的 hadoop2x-ecli ...
分类：
其他好文 时间：
2018-11-16 22:26:32
阅读次数：
287
内容 由于前两节的内容我们知道，开启了preferIpAddress后，Eureka的伪分布式部署会提示replica不可用。这一节我们讲解如何在生产环境下部署完全分布式的Eureka集群，确保开启了preferIpAddress后replica的可用性。 版本 IDE：IDEA 2017.2.2 ...
分类：
编程语言 时间：
2018-11-11 12:15:33
阅读次数：
292
1. 安装步骤 Kafka伪分布式安装的思路跟Zookeeper的伪分布式安装思路完全一样，不过比Zookeeper稍微简单些(不需要创建myid文件), 主要是针对每个Kafka服务器配置一个单独的server.properties，三个服务器分别使用server.properties，serve ...
分类：
其他好文 时间：
2018-11-08 10:55:04
阅读次数：
146
