从源头上解决，在上传到HDFS之前，就将多个小文件归档 使用tar命令 带上参数-zcvf 示例： tar -zcvf xxx.tar.gz 小文件列表 如果小文件已经上传到HDFS了，可以使用在线归档 使用hadoop archive命令 示例： hadoop archive -archiveNa ...
分类：
其他好文 时间：
2020-07-11 17:00:14
阅读次数：
76
挺想整合一篇ansible设置k8s基础环境的文档，实在是没时间（醒悟的太晚，之前我的文档全是docx保存到网盘上的）最近下班一直赶着把以前的文档整理到bolg上。 等有机会需要部署新的k8s集群时，再补充吧。 本文设想已经装好ansiable，就不写ansibale的安装。 检查:ansible ...
分类：
其他好文 时间：
2020-07-11 09:35:04
阅读次数：
74
ansible 基本模块及常见命令参数使用 命令格式 ansible webserver|www.a.com|1.1.1.1 (主机组/主机名/主机ip) -m (模块参数) shell(模块名字) -a (命令参数) “echo xxx” 远程登录方式 密码方式之免交互 vi /etc/ansib ...
分类：
其他好文 时间：
2020-07-10 20:55:09
阅读次数：
67
Hive数据仓库 Facebook由hive和Hadoop组建 hive由facebook开发的 存储HDFS，查询MapReduce 优势 解决了传统关系型数据库在大数据处理上的瓶颈。适合大数据批量处理 充分利用集群的CPU计算资源，存储资源，实现并行计算 Hive支持标准的SQL语法，免去了编写 ...
分类：
其他好文 时间：
2020-07-10 19:33:44
阅读次数：
77
cat hadoop-env.sh export HADOOP_OPTS="$HADOOP_OPTS -Duser.timezone=GMT+08" cat yarn-env.sh YARN_OPTS="$YARN_OPTS -Duser.timezone=GMT+08" cat hbase-env ...
分类：
其他好文 时间：
2020-07-10 19:26:31
阅读次数：
86
概述 ansible 当前主流的批量配置管理工具，相比于saltstack 它是无agent 模式，基于ssh 去远程管理主机。有密码和密钥两种方式远程认证方式。 安装 yum -y install ansible (前提是有epel 源，如果没有需要安装) pip install ansible ...
分类：
其他好文 时间：
2020-07-10 13:45:45
阅读次数：
79
查看hosts文件 [root@ansible playbooks]# ansible all --list hosts (4): 192.168.1.114 192.168.1.113 192.168.1.111 192.168.1.117 第一次安装报错，发现被控的服务器没有nginx 解决： ...
分类：
其他好文 时间：
2020-07-10 09:57:45
阅读次数：
69
最近无聊的时候在学习ansible，在看«奔跑吧Ansible»这本书的时候，了解到这个命令，感觉和ansible搭配很好玩，于是就开始安装一下。 dnf install cowsay 简单使用： [root@ansible cowsay]# cowsay hellow world! _______ ...
分类：
系统相关 时间：
2020-07-10 09:39:32
阅读次数：
119
集群启动顺序： NameNode启动 NameNode启动时，首先将镜像文件（Fsimage）载入内存，并执行编辑日志（Edits）中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的Fsimage文件和一个空的编辑日志。此时，NameNode开始监听DataNode请求。这个过程 ...
分类：
其他好文 时间：
2020-07-10 00:43:16
阅读次数：
97
package com.baway.loginfaildetect import java.util import org.apache.flink.cep.PatternSelectFunctionimport org.apache.flink.cep.scala.{CEP, PatternStr ...
分类：
其他好文 时间：
2020-07-10 00:15:34
阅读次数：
92
