1.修改hbase env.sh文件 2.修改hbase site.xml文件 3.在conf文件夹中创建hadoop配置文件的软链接 4.分发配置 5.启动RegionServer、Master，只能在指定master节点启动master服务（与Yarn中ResourceManager类似） == ...
分类：
其他好文 时间：
2020-04-26 01:22:24
阅读次数：
78
一、环境准备 1.添加插件到eclipse plugins目录下就可以了 2.把Window编译后的hadoop的文件放到 hadoop的bin目录下 3.配置环境变量 HADOOP_HOME=E:\hadoop\hadoop-2.7.7 Path=%HADOOP_HOME%\bin;%HADOOP ...
分类：
其他好文 时间：
2020-03-06 17:32:14
阅读次数：
84
一、相关知识回顾 分布式文件存储 信息源： 购买信息元（对海量数据清洗） 自营提供（限于大公司） 爬虫、抓包 信息格式：文件、文本、sql、json 分布式计算 离线批处理 MapReduce spark 实时数据流 storm spark Sqoop数据迁移：hdfs mysql flume数据上 ...
分类：
其他好文 时间：
2020-02-19 10:28:03
阅读次数：
94
一：安装JDK hadoop2.x最低jdk版本要求是：jdk1.7 下载地址：https://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html#jdk-7u80-o ...
分类：
其他好文 时间：
2020-02-13 21:03:47
阅读次数：
73
每个节点都要安装jdk #java environment export JAVA_HOME=/export/server/jdk1.8.0_11 export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAV ...
分类：
其他好文 时间：
2020-02-02 23:51:18
阅读次数：
91
配置Hadoop环境变量：1.Windows环境变量配置 鼠标右键点击‘计算机’-‘属性’-‘高级系统设置’-‘环境变量’-单击新建如图： 2.接着找到环境变量path，将hadoop的bin目录加入到后面: 修改hadoop配置文件 （1）编辑“D:\hadoop-2.7.5\etc\hadoop ...
在使用flume采集日志写入到hdfs时，用到了lzo压缩算法，这个算法将让保存的文件缩小为原文件的三分之一。由于此压缩算法不是hadoop默认的，需要另外安装，下面记录下，全文主要参考文末博文完成。 编译安装lzo和lzop 注意，有多少个节点，就安装多个少！注意，有多少个节点，就安装多个少！注意 ...
分类：
其他好文 时间：
2020-01-20 14:30:04
阅读次数：
88
+ Hadoop常见的端口 + Hadoop生态圈 + Hadoop配置文件以及简单的Hadoop集群搭建 + Hadoop参数调优 + 项目经验之基准测试 + Hadoop宕机 + Hadoop 高可用配置 Hadoop 常见的端口 ? dfs.namenode.http address:5007 ...
分类：
其他好文 时间：
2020-01-08 19:08:08
阅读次数：
91
hadoop配置 一、首先写两个实用的小脚本 1、执行命令 ：xcall.sh ls 则可以在四台机器上循环执行命令 ls(首先需要支持ssh免密登陆) 2、可以使用命令xscp.sh /soft/download/ 把download下的所有文件传到其他三台服务器对应目录下(首先需要支持ssh免密 ...
分类：
其他好文 时间：
2019-12-16 19:41:15
阅读次数：
107
1.windows10使用idea创建wordcount时，hadoop 二进制 加 空指针异常。是因为没有hadoop，hadoop环境变量 解决：配置下载hadoop，配置环境变量 2.写的wordcount在spark集群上跑是 19/09/11 20:19:54 INFO spark.Spa ...
分类：
其他好文 时间：
2019-09-20 21:18:21
阅读次数：
100
