@ 1.Docker概述 1.1Docker为什么会出现 一款产品：开发--》上线，需要两套环境！应用环境，应用配置！ 开发 运营之间产生问题：我在我的电脑上可以运行！版本更新导致服务不可用！对于运维就很难 开发即运维！ 环境配置十分麻烦，每一个机器都要部署环境（集群Redis、ES、Hadoop。 ...
分类：
其他好文 时间：
2020-11-21 12:47:24
阅读次数：
31
练手项目 停车场系统 安装centos7 解压安装python3 tar -xf Python-3.5.6.tar.xz 解压缩xz压缩包 源码编译安装 yum groupinstall 'Development Tools' yum install -y ncurses-libs zlib-dev ...
分类：
其他好文 时间：
2020-11-21 12:45:49
阅读次数：
32
编译安装python3.6的步骤 1.下载python3源码包 wget https://www.python.org/ftp/python/3.6.6/Python-3.6.6.tgz 2.下载python3编译的依赖包 yum install -y gcc patch libffi-devel ...
分类：
编程语言 时间：
2020-11-21 12:44:09
阅读次数：
29
认识Hive 从MapReduce到SQL Hive架构 三种安装方式 Hive与关系型数据库的区别 1. 认识Hive 前面我们讲到了mapreduce计算框架，各位需要通过java编码的形式来实现设计运算过程，Hive的设计目的就是为了让精通sql技能而java较弱的分析师能够利用hadoop进 ...
分类：
其他好文 时间：
2020-11-21 12:33:40
阅读次数：
7
目录 一、缓存代理概述 二、squid主要组成部分 三、Squid各种代理的定义 3.1、传统代理 3.2、透明代理 四、ACL控制 4.1、修改配置文件 4.2、测试 五、Squid日志分析 5.1、安装依赖环境 5.2、编译安装日志分析软件 5.3、修改配置文件 5.4、添加不计入站点文件，添加 ...
分类：
其他好文 时间：
2020-11-21 11:52:41
阅读次数：
2
yarn是什么： 旧版本MapReduce中的JobTracker/TaskTracker在可扩展性、内存消耗、可靠性和线程模型方面存在很多问题，需要开发者做很多调整来修复。 Hadoop的开发者对这些问题进行了Bug修复，可是由此带来的成本却越来越高，为了从根本上解决旧MapReduce存在的问题 ...
分类：
其他好文 时间：
2020-11-19 12:56:26
阅读次数：
17
ApacheRanger简介ApacheRanger提供一个集中式安全管理框架,并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问权限。Ranger优点：丰富的组件支持（HDFS，HBASE，HIVE，YARN，KAFKA，STORM）提供了细粒度级权限控制（h
分类：
其他好文 时间：
2020-11-18 13:10:32
阅读次数：
10
Hadoop/Hive自带权限控制集群安全下需求：支持多组件，最好能支持当前大数据技术栈的主要组件，HDFS、HBASE、HIVE、YARN、KAFKA等支持细粒度的权限控制，可以达到HIVE列，HDFS目录，HBASE列,YARN队列开源，社区活跃，按照现有的集群情况改动尽可能的小，而且要符合业界的趋势。现有方案：Hadoop、Hive本身的权限控制Kerberos安全认证ApacheRange
分类：
其他好文 时间：
2020-11-18 12:15:31
阅读次数：
8
编译Ranger源码首先准备好Java和Maven环境：[root@hadoop01~]#java-versionjavaversion"1.8.0_261"Java(TM)SERuntimeEnvironment(build1.8.0_261-b12)JavaHotSpot(TM)64-BitServerVM(build25.261-b12,mixedmode)[root@hadoop01~]#
分类：
Web程序 时间：
2020-11-18 12:13:58
阅读次数：
19
导语如果之前的单机版hadoop环境安装满足不了你，集群版hadoop一定合你胃口，轻松入手。目录集群规划前置条件配置免密登录3.1生成密匙3.2免密登录3.3验证免密登录集群搭建4.1下载并解压4.2配置环境变量4.4修改配置4.4分发程序4.5初始化4.6启动集群4.7查看集群提交服务到集群1.集群规划这里搭建一个3节点的Hadoop集群，其中三台主机均部署DataNode和NodeManag
分类：
其他好文 时间：
2020-11-18 12:13:01
阅读次数：
6
