学习了这么久hadoop，都没有搭过集群，是不合格的。这次搭建完，细扣具体的Job运行情况，日志信息，对Hadoop了解更深了。后面也要陆续搭建分布式flume,kafka,hbase,mysql来完成最终的离线批处理分析项目。 搭建步骤 1. 虚拟机环境准备(IP地址、主机名、新用户、防火墙、SS ...
分类：
其他好文 时间：
2020-04-04 15:00:32
阅读次数：
81
最近项目组安排了一个任务，项目中用到了基于 Solr 的全文搜索，但是该 Solr 搜索云项目不稳定，经常查询不出来数据，需要手动全量同步。 而且它还是其他团队在维护，依赖性太强，导致 Solr 服务一出问题，我们的项目也基本瘫痪，因为所有的依赖查询都无结果数据了。 所以考虑开发一个适配层，如果 S ...
分类：
其他好文 时间：
2020-03-29 01:08:03
阅读次数：
138
1 环境准备 1.1 修改IP 1.2 修改主机名及主机名和IP地址的映射 1.3 关闭防火墙 1.4 ssh免密登录 1.5 安装JDK，配置环境变量 2 集群规划 节点名称 NN JJN DN ZKFC ZK RM NM linux1 NameNode JournalNode DataNode ...
分类：
其他好文 时间：
2020-03-24 15:39:44
阅读次数：
82
HA+Zookeeper搭建: hadoop完全分布式搭建: https://www.cnblogs.com/Hephaestus/p/12213719.html hadoop高可用搭建: https://www.cnblogs.com/Hephaestus/p/12420370.html Zook ...
分类：
其他好文 时间：
2020-03-12 09:59:28
阅读次数：
46
1.克隆一台虚拟机作为分布式系统的节点 2.更改克隆机的网络配置 cd /etc/sysconfig/network-scripts vi ifcfg-ens33 修改完毕后退出，重启网络： systemctl restart network 3.添加主机映射 先修改主机名：vi /etc/host ...
分类：
其他好文 时间：
2020-02-25 20:23:00
阅读次数：
53
1.准备两台虚拟机，配置hosts文件 vim /etc/hosts 加入两台虚拟机的ip 和主机名(两台分别都要配置) 2.配置ssh免密通信 ssh-keygen ssh-copy-id 主机名 ssh 主机名（测试是否免密成功 3.配置hdfs-site.xfs文件 <configuratio ...
分类：
其他好文 时间：
2020-02-25 19:52:10
阅读次数：
51
hadoopd的sbin目录的脚本 一、服务相关的一些脚本 开启一个软件： 1、hadoop-daemon.sh start namenode 2、hadoop-daemon.sh start datanode 3、hadoop-daemon.sh start secondarynamenode （ ...
分类：
其他好文 时间：
2020-02-25 18:14:39
阅读次数：
74
1. 下列哪项通常是集群的最主要瓶颈（C） A. CPU B. 网络 C. 磁盘IO D. 内存 2. 下列哪项可以作为集群的管理工具？（C） A.Puppet B.Pdsh C.ClouderaManager D.Zookeeper 3. 下列哪个是Hadoop 运行的模式？（ABC） A. 单机 ...
分类：
其他好文 时间：
2020-02-05 18:41:15
阅读次数：
95
本篇介绍在centos7中大家hadoop2.10完全分布式，首先准备4台机器：1台nn(namenode);3台dn(datanode) IP hostname 进程 192.168.30.141 s141 nn（namenode） 192.168.30.142 s142 dn（datanode） ...
分类：
其他好文 时间：
2020-01-29 23:34:39
阅读次数：
104
Hi！这里是TF中文社区关于Tungsten Fabric架构解析内容的第三篇，详解vRouter体系结构。
分类：
其他好文 时间：
2019-12-31 23:09:45
阅读次数：
53
