1 #!/usr/bin/env python 2 3 import json 4 import shutil 5 from ansible.module_utils.common.collections import ImmutableDict 6 from ansible.parsing.dat ...
第一步环境准备： jdk安装，用户用组新建 useradd -m hadoop passwd hadoop 修改密码 添加用户hadoop到hadoop用户组 wget https://downloads.apache.org/hadoop/common/hadoop-3.2.1/hadoop-3. ...
分类：
其他好文 时间：
2020-05-27 20:47:07
阅读次数：
90
Apache Parquet is a columnar storage format available to any project in the Hadoop ecosystem, regardless of the choice of data processing framework, d ...
分类：
其他好文 时间：
2020-05-27 15:57:13
阅读次数：
104
1，使用copy模块时，src 路径可以不用写，直接写要copy的文件名称即可 ansible 自己会根据一定的规律来遍历路径，是否存在该文件（拷贝的对象） 1. [root@localhost kafka]# tree . ├── hosts │ ├── kafka_hosts │ └── kaf ...
分类：
其他好文 时间：
2020-05-27 15:33:11
阅读次数：
231
案例一般在ansible当中去修改某个文件的单行进行替换的时候需要使用lineinfile模式name:关闭SElinuxlineinfile:dest:/etc/selinux/configregexp:"^SELINUX="line:"SELINUX=disabled"比如替换selinux当中的以SELINUX开头的行,替换为disabledline参
分类：
系统相关 时间：
2020-05-27 15:30:53
阅读次数：
803
软件环境：VMware10.0，VMware10,ubuntu15.10桌面版（ubuntukylin-15.10-desktop-i386.iso），Apache hadoop（hadoop-1.2.1.tar.gz），JDK（jdk-8u11-linux-i586.tar.gz） 一 安装JDK ...
分类：
其他好文 时间：
2020-05-27 00:47:44
阅读次数：
69
题目三：使用Spark Core 统计文件中以spark开头的单词中，每个单词出现的次数（共计30分） spark-core hadoop linux java spark-sql storm html css vue spark spring springboot struts spark-hiv ...
分类：
其他好文 时间：
2020-05-26 22:06:21
阅读次数：
102
背景 数据处理平台从oracle迁移到hadoop平台后，原有的数据处理过程需要改写为sparkSql。由于sparkSql执行环境和数据的不确定，经常有资源竞争导致处理过程意外停止，数据倾斜导致任务执行失败。 为减少出错概率，需要对sparkSql进行规范与优化。 转换 1. exist 转换 为 ...
分类：
数据库 时间：
2020-05-25 19:47:59
阅读次数：
94
分布式缓存 分布式缓存的思想在hadoop和spark中都有体现，Flink 提供的分布式缓存类似 Hadoop，目的是为了在分布式环境中让每一个 TaskManager 节点保存一份相同的数据或者文件，当前计算节点的 task 就像读取本地文件一样拉取这些配置。 比如在进行表与表 Join 操作时 ...
分类：
其他好文 时间：
2020-05-25 19:29:56
阅读次数：
60
ansible step: 问题2：(由于安装的python3.6.4,想默认使用pip3.6安装requirements) 根据官方文档，错误是 executable无法和virtualenv 2个parameters并行 https://docs.ansible.com/ansible/late ...
分类：
其他好文 时间：
2020-05-25 19:14:17
阅读次数：
58
