Mac配置hadoop1.修改 /etc/hosts127.0.0.1 localhost2.下载hadoop2.9.0和jdk并安装配置相应环境 vim /etc/profile export HADOOP_HOME=/Users/yg/app/cluster/hadoop-2.9.0 expor ...
分类：
系统相关 时间：
2018-01-04 18:10:36
阅读次数：
287
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 前提和设计目标 硬件错误 硬件错误是常态而不是异常。H ...
分类：
其他好文 时间：
2017-11-26 13:52:14
阅读次数：
200
linux中/opt一般用来存放应用/var目录一般用来存放日志 sample为样例文件，复制一份zoo.cfg文件 配置zoo文件，id为服务器id（整数），host为服务器的ip地址，第一个port为follow的端口，第二个port为leader选举端口，输入任意可用值即可 ...
分类：
其他好文 时间：
2017-11-10 13:42:16
阅读次数：
177
顺序一致性：严格按照顺序在zookeeper上执行 原子性：所有事物请求的结果，在整个集群的应用情况一致 单一视图：无论从哪个服务器进入集群，看到的东西都是一致的 可靠性：服务端成功响应后，状态会 一直保留 3台的zookeeper集群达到12-13万QPS ...
分类：
其他好文 时间：
2017-11-09 14:40:11
阅读次数：
143
一般用户用CLI（命令行界面）接口，元数据库含有表结构 单用户、多用户、远程服务 生成db文件，只能单客户端使用数据库 多用户是最常用的使用模式 配置与多用户一致 数据格式用户自定义 所有的表都存于改配置路径下，除了外部表 外部表指定location则可，删除一个表只会删除元数据（元数据（Metad ...
分类：
其他好文 时间：
2017-11-06 15:00:06
阅读次数：
201
Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更： （1）HDFS的NameNode可以以集群的方式布署，增强了NameNodes的水平扩展能力和高可用性，分别是:HDFS Fede ...
分类：
其他好文 时间：
2017-11-03 13:12:40
阅读次数：
222
网站日志分析项目案例（一）项目介绍：http://www.cnblogs.com/edisonchou/p/4449082.html 网站日志分析项目案例（二）数据清洗：当前页面 网站日志分析项目案例（三）统计分析：http://www.cnblogs.com/edisonchou/p/446434 ...
分类：
Web程序 时间：
2017-11-03 13:11:02
阅读次数：
230
一、Hadoop中的计数器 计数器：计数器是用来记录job的执行进度和状态的。它的作用可以理解为日志。我们通常可以在程序的某个位置插入计数器，用来记录数据或者进度的变化情况，它比日志更便利进行分析。 例如，我们有一个文件，其中包含如下内容： 它被WordCount程序执行后显示如下日志： 在上图所示 ...
分类：
其他好文 时间：
2017-11-03 13:08:32
阅读次数：
140
开篇：在本笔记系列的第一篇中，我们介绍了如何搭建伪分布与分布模式的Hadoop集群。现在，我们来了解一下在一个Hadoop分布式集群中，如何动态（不关机且正在运行的情况下）地添加一个Hadoop节点与下架一个Hadoop节点。 一、实验环境结构 本次试验，我们构建的集群是一个主节点，三个从节点的结构 ...
分类：
其他好文 时间：
2017-11-03 13:07:50
阅读次数：
224
网站日志分析项目案例（一）项目介绍：当前页面 网站日志分析项目案例（二）数据清洗：http://www.cnblogs.com/edisonchou/p/4458219.html 网站日志分析项目案例（三）统计分析：http://www.cnblogs.com/edisonchou/p/446434 ...
分类：
Web程序 时间：
2017-11-03 13:06:48
阅读次数：
261
