4 大数据技术之Hadoop（HDFS） 第1章 HDFS概述 1.1 HDFS产出背景及定义 1.2 HDFS优缺点 1.3 HDFS组成架构 1.4 HDFS文件块大小（面试重点） 第2章 HDFS的Shell操作（开发重点） 1．基本语法 bin/hadoop fs 具体命令 OR bin/h ...
分类：
其他好文 时间：
2020-07-26 19:35:03
阅读次数：
94
1. 简要介绍 HBase 是一个开源的非关系型分布式数据库（NoSQL），它参考了谷歌的 BigTable 建模，实现的编程语言为 Java。它是 Apache 软件基金会的 Hadoop 项目的一部分，运行于 HDFS 文件系统之上，为 Hadoop 提供类似于 BigTable 规模的服务，可 ...
分类：
其他好文 时间：
2020-07-26 01:59:15
阅读次数：
89
Nginx基本安全优化 隐藏Nginx软件版本号信息 一般来说，软件的漏洞都和版本有关，这个很像汽车的缺陷，同一批次的要有问题就都有问题，别的批次可能就都是好的。因此，我们应尽量隐藏或者消除Web服务对访问用户显示各类敏感信息(例如Web软件名称以及版本号等信息)，增加恶意用户攻击服务器的难度，从而 ...
分类：
其他好文 时间：
2020-07-26 00:31:29
阅读次数：
97
4 开启 Reduce 输出阶段压缩 当 Hive 将 输 出 写 入 到 表 中 时 ， 输 出 内 容 同 样 可 以 进 行 压 缩 。 属 性hive.exec.compress.output 控制着这个功能。用户可能需要保持默认设置文件中的默认值 false， 这样默认的输出就是非压缩的纯 ...
分类：
其他好文 时间：
2020-07-24 21:30:31
阅读次数：
69
分布式系统分布式系统从当初的CORBA到EJB，Web和SOA，从集群到现在的NoSQL云计算和大数据Hadoop等分布式系统，横向水平扩展Scalaout/in是分布式系统设计的一个特点，可靠性容错性是两个质量指标。什么是分布式系统？一大批服务器组成一个集合，对于用户来说仍然是一个整体连贯系统。A.Tanenbaum定义：分布式网络的计算机中的组件之间协调动作是通过消息进行通讯。G.Coulou
分类：
其他好文 时间：
2020-07-24 13:30:07
阅读次数：
93
自己学习Hadoop时，整理的资料，方便以后查看，希望能帮到大家，有什么问题欢迎大家指出 一、Hadoop是什么？其核心又是什么？ Hadoop历史 雏形开始于2002年的Apache的Nutch，Nutch是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜 ...
分类：
其他好文 时间：
2020-07-23 22:35:14
阅读次数：
65
1 Hadoop 源码编译支持 Snappy 压缩 1.1 资源准备 1．CentOS 联网 配置 CentOS 能连接外网。Linux 虚拟机 ping www.baidu.com 是畅通的 注意：采用 root 角色编译，减少文件夹权限出现问题 2．jar 包准备(hadoop 源码、JDK8 ...
分类：
其他好文 时间：
2020-07-23 22:32:44
阅读次数：
73
本文已收录GitHub，更有互联网大厂面试真题，面试攻略，高效学习资料等前言之前去面试的时候面试官问了我关于关于JVM性能调优的问题，由于自己之前公司的项目里自己没有接触到JVM性能调优的相关问题（感觉这些都是公司架构师考虑的问题），所有面试官问的时候自己一脸懵逼，所有最后的结果当然是凉凉。。，于是，为了查漏补缺，就去学习了一下JVM的相关知识，希望能帮助到大家。正文在学习任何一项新的知识之前，我
分类：
其他好文 时间：
2020-07-23 15:46:59
阅读次数：
67
namenode1 namenode2 datanode zk zkfc jnn node0001 * * * node0002 * * * * * node0003 * * * node0004 * * 1，两个namenode节点相互免密钥，以完成主备切换 node0002:cd .ssh ss ...
分类：
其他好文 时间：
2020-07-23 01:34:21
阅读次数：
110
1.-help : 输出这个命令的相关参数用法 hadoop fs -help rm (删除的相关用法) 2.-ls : 显示目录信息 hadoop fs -ls / 递归查看 hadoop fs -ls -R / 3.-mkdir: 在hdfs上创建目录 hadoop fs -mkdir -p / ...
分类：
其他好文 时间：
2020-07-22 21:02:50
阅读次数：
82
