1、什么是playbook 将多个要执行ansible操作安装顺序整合到一个文件中， 这个文件就是yaml 执行yaml文件的方法是通过ansible-playbook执行 yaml文件中的元素 变量 循环 判断 2、变量 变量命名规则 只能以字母为开头 构成只能有数字、字母、下划线 变量类别 自定 ...
分类：
其他好文 时间：
2020-07-01 20:13:20
阅读次数：
67
例如： A服务器地址：172.16.1.203 B服务器地址：172.16.1.204 当jenkins 在A 服务器并且用户aa, 控制B 服务器的用户bb的操作 (1)B服务器 用ssh-keyscan命令将公钥添加到本地的known_hosts文件里面去 如：ssh-keyscan 172.1 ...
分类：
其他好文 时间：
2020-07-01 12:52:00
阅读次数：
72
Hadoop的广义与狭义之分 狭义的Hadoop:指的是一个框架，Hadoop是由三部分组成：HDFS:分布式文件系统--》存储；MapReduce:分布式离线计算框架--》计算；Yarn:资源调度框架 广义的Hadoop:广义的Hadoop不仅仅包含Hadoop框架，除了Hadoop框架之外的一些 ...
分类：
其他好文 时间：
2020-06-30 22:14:42
阅读次数：
67
yum -y install ansible yum安装ansible的特点 yum安装的ansible,配置文件，hosts文件，roles目录都默认在/etc/ansible目录下 配置文件要点介绍 配置文件中的sudo-user和become-user,remote_user remote_u ...
分类：
其他好文 时间：
2020-06-30 20:13:13
阅读次数：
56
一、概述 Hive是什么？ Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。 最初，Hive是由Facebook开发，后来由Apache软件基金会开发，并作为进一步将它作为名义下Apache Hive为一个开源项目。它用 ...
分类：
其他好文 时间：
2020-06-30 17:16:56
阅读次数：
54
遇到的问题： 1. SPARK & HADOOP 不能安装在有空格的目录下 比如 programs file这种 2. 需要设置环境变量 PYSPARK_PYTHON PYSPARK_DRIVER_PYTHON 到3.6.5的环境，不然3.6 3.7会撞车 ...
分类：
其他好文 时间：
2020-06-29 21:28:22
阅读次数：
66
安装JDK1.8 查看JDK1.8的安装 https://www.cnblogs.com/TJ21/p/13208514.html 安装hadoop 上传hadoop 下载hadoop 地址http://mirrors.hust.edu.cn/apache/hadoop/common/ 放到mkdi ...
分类：
其他好文 时间：
2020-06-29 17:13:37
阅读次数：
53
做任何事都要经受得挫折，要有恒心和毅力，满怀信心坚持到底 Hadoop配置集群事件同步 时间同步方式 找一台机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间 配置时间同步步骤 1.时间服务器配置（必须root用户） rpm -qa|grep ntp 2.修 ...
分类：
其他好文 时间：
2020-06-29 17:07:37
阅读次数：
45
1.Error initializing SparkContext. 20/06/29 05:52:43 INFO yarn.Client: Deleted staging directory hdfs://master:9000/user/hadoop/.sparkStaging/applicat ...
分类：
其他好文 时间：
2020-06-29 15:02:48
阅读次数：
96
1、安装redis yum -y install redis 2、修改redis配置 vim /etc/redis.conf 找到redis.conf 并修改 daemonize no 为 daemonize yes 3、启动redis redis-server /etc/redis.conf 4、 ...
分类：
其他好文 时间：
2020-06-29 13:06:48
阅读次数：
91
