1、KDC 添加用户 ，输入密码 HTTP@HADOOP.COM 2、客户机（linux），kerberos客户端安装 3、客户机（linux），kerberos客户端配置 4、关闭客户机防火墙 systemctl stop firewalld.service 5、配置客户机host文件 6、客户机 ...
分类：
其他好文 时间：
2020-06-08 12:55:03
阅读次数：
154
场景 使用Flink，从阿里云的AMQP中获取数据，然后直接写入到InfluxDB中。即： source：amqp sink：influxdb 环境 Linux：Centos8.0 Hadoop：2.8.3 Flink：1.10.0 Java：1.8.0_77 InfluxDB：1.7.1 Rock ...
分类：
编程语言 时间：
2020-06-08 10:48:29
阅读次数：
55
做为一个业务马拉松爱好者和一个不太专业的IT从业者（十多年开发不会，业务略懂，没形成自己的价值体系，啥啥没心得，得过且过十几年），在马拉松的时候想到了这个对照关系。 那就随便写写，看到了博君一笑。 hadoop的map阶段，是通过transform操作，将数据进行转换，这个阶段数据都是在各个机器上， ...
分类：
其他好文 时间：
2020-06-08 00:39:55
阅读次数：
61
hbase已经配置好 开始使用hbase时 先启动hadoop集群 start-all.sh(前提是在bashrc中配置export PATH=$PATH:$HADOOP_HOME/sbin export PATH=$PATH:$HAOOP_HOME/bin) 然后start-hbase.sh，启动 ...
分类：
其他好文 时间：
2020-06-08 00:39:09
阅读次数：
68
记录一下本周写ansible自动部署时遇到的坑。 因为要部署ftp服务器，所以整理了ftp部署相关的资料，按照整理的资料可以顺利的进行ftp部署和卸载，但是利用ansible自动部署的时候总会出现各种异常。通过一步步的排查发现是配置文件有问题。 虽然本地写的内容和复制到Linux服务器里的内容看上去 ...
分类：
其他好文 时间：
2020-06-07 21:45:36
阅读次数：
98
Ansible是一个系列文章，我会尽量以通俗易懂、诙谐幽默的总结方式给大家呈现这些枯燥的知识点，让学习变的有趣一些。 Ansible系列博文直达链接：Ansible入门系列 前言 在学习playbook的时候，你可能会被惊讶到，YAML是什么鬼？我怎么从来都没有接触过！是的，一开始我也是这样的。然后 ...
分类：
其他好文 时间：
2020-06-07 21:32:08
阅读次数：
69
一、Hive的压缩和存储 1，MapReduce支持的压缩编码 压缩格式 工具 算法 文件扩展名 是否可切分 对应的编码/解码器 DEFLATE 无 DEFLATE .deflate 否 org.apache.hadoop.io.compress.DefaultCodec Gzip gzip DEF ...
分类：
其他好文 时间：
2020-06-07 19:08:04
阅读次数：
65
简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput
分类：
其他好文 时间：
2020-06-06 23:16:21
阅读次数：
84
Linux 7 Ansible初学之配置被控制机器的 YUM 源 新建一个shell脚本，通过 ansible 的 yum_repository 模块，给每台被控制机器配置 YUM 源 [student@workstation ansible]$ cat yum_repo.sh #!/bin/bas ...
分类：
系统相关 时间：
2020-06-06 16:59:01
阅读次数：
91
Failed redirect for xxxxxxxxxxx Failed while trying to construct the redirect url to the log server. Log Server url may not be configured Unknown cont ...
分类：
其他好文 时间：
2020-06-06 13:18:10
阅读次数：
96
