反向代理日志json化 步骤 使用ansible用户登录反向代理服务器 cd /etc/nginx/ 修改配置文件nginx.conf sudo vi nginx.conf 将 log_format main '$remote_addr - $remote_user [$time_local] "$ ...
分类：
Web程序 时间：
2020-06-12 00:31:34
阅读次数：
120
一、hadoop安装 1. 修改主机名和 IP 地址映射 sudo vi /etc/hostname #修改主机名（如，删掉原有内容，命名为 hadoop） ping hadoop #ping 通证明成功 2. 安装java sudo apt install openjdk-8-jdk-headle ...
分类：
其他好文 时间：
2020-06-11 21:50:24
阅读次数：
78
本地scala version为2.11.8，spark为2.4.0版本 于是修改dr-elephant/build.sbt scalaVersion := "2.11.8" 修改dr-elephant/compile.conf hadoop_version=2.8.4 spark_version= ...
分类：
其他好文 时间：
2020-06-11 13:42:28
阅读次数：
100
python是一门非常高级的编程语言，同时python作为人工智能的重要编程语言，无论发展前景还是就业方向，都可以说是无可限量。
分类：
编程语言 时间：
2020-06-11 00:42:34
阅读次数：
104
实验环境 虚拟机数量：3 系统版本：Centos 7.5 Hadoop版本：Apache Hadoop 2.7.3 Zookeeper版本：Apache zookeeper-3.4.10. HBase版本：Apache HBase 1.2.6 1.启动Hadoop集群 在master启动Hadoop ...
分类：
其他好文 时间：
2020-06-10 11:05:53
阅读次数：
63
playbook: 通过事先编写好 的playbook文件实现批量管理操作 ansible 的任务集 注意： 1.yml中不可使用tabs键 2.缩进对齐，严格控制缩进 3.#表注释 4. 开头 playbook文件 ：是ansible主机用于配置，部署和管理托管主机的剧本，可以让远程主机达到预期状 ...
分类：
其他好文 时间：
2020-06-09 18:32:44
阅读次数：
60
ansible-doc -l |grep 模块名 //模块搜索 ansible-doc 模块名 > /EXAMPLE //查看帮助 1.command模块： 远程执行命令 ansible 主机集合 -m（模块） command -a（命令） '远程命令' 2.shell模块:同于command模块 ...
分类：
其他好文 时间：
2020-06-09 16:53:46
阅读次数：
100
jar包：是用java写的一些类 用的话直接用就不用再写了 。直接用jar包方便许多。 maven：是用jar包的时候只用下载一次就行了 ，下次再用就不用再下载一遍了。 编程似乎在不断完善 ，没有人知道未来是啥。 我在 写spark：是hadoop的完善。因为map和reduce不够用 。 spar ...
分类：
其他好文 时间：
2020-06-08 20:48:36
阅读次数：
46
恢复内容开始 大数据的分布式计算框架目前使用的最多的就是hadoop的mapReduce和Spark，mapReducehe和Spark之间的最大区别是前者较偏向于离线处理，而后者重视实现性，下面主要介绍mapReducehe和Spark两者的shuffle过程。 MapReduce的Shuffle ...
分类：
其他好文 时间：
2020-06-08 19:17:29
阅读次数：
88
ansible写roles的时候tasks里面需要多个yum的服务需要一起安装，不需要指定多个name,看下面的，正常写是yum:name=ipsetstate=present这样一般就安装一个像多个包一起安装这样更方便name:安装ipvsadm管理工具yum:name:-ipset-ipvsadmstate:present在ansible当中file模块还支持chmod权限的更改那就是mode
分类：
其他好文 时间：
2020-06-08 17:40:23
阅读次数：
70
