场景 使用Flink，从阿里云的AMQP中获取数据，然后直接写入到InfluxDB中。即： source：amqp sink：influxdb 环境 Linux：Centos8.0 Hadoop：2.8.3 Flink：1.10.0 Java：1.8.0_77 InfluxDB：1.7.1 Rock ...
分类：
编程语言 时间：
2020-06-08 10:48:29
阅读次数：
55
做为一个业务马拉松爱好者和一个不太专业的IT从业者（十多年开发不会，业务略懂，没形成自己的价值体系，啥啥没心得，得过且过十几年），在马拉松的时候想到了这个对照关系。 那就随便写写，看到了博君一笑。 hadoop的map阶段，是通过transform操作，将数据进行转换，这个阶段数据都是在各个机器上， ...
分类：
其他好文 时间：
2020-06-08 00:39:55
阅读次数：
61
hbase已经配置好 开始使用hbase时 先启动hadoop集群 start-all.sh(前提是在bashrc中配置export PATH=$PATH:$HADOOP_HOME/sbin export PATH=$PATH:$HAOOP_HOME/bin) 然后start-hbase.sh，启动 ...
分类：
其他好文 时间：
2020-06-08 00:39:09
阅读次数：
68
一、Hive的压缩和存储 1，MapReduce支持的压缩编码 压缩格式 工具 算法 文件扩展名 是否可切分 对应的编码/解码器 DEFLATE 无 DEFLATE .deflate 否 org.apache.hadoop.io.compress.DefaultCodec Gzip gzip DEF ...
分类：
其他好文 时间：
2020-06-07 19:08:04
阅读次数：
65
简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput
分类：
其他好文 时间：
2020-06-06 23:16:21
阅读次数：
84
Failed redirect for xxxxxxxxxxx Failed while trying to construct the redirect url to the log server. Log Server url may not be configured Unknown cont ...
分类：
其他好文 时间：
2020-06-06 13:18:10
阅读次数：
96
原因 hadoop.dll 版本问题 解决 查询远程主机中hadoop版本，下载相同或稍高版本的hadoop.dll，将下载的 hadoop.dll 复制到windows系统的c:/window/system32/下 参考 https://blog.csdn.net/Constantdropping ...
分类：
编程语言 时间：
2020-06-06 09:25:40
阅读次数：
69
1、修改配置文件后重启hdfs集群，出现了两个namenode都是standby的问题。 经过不断地排查，发现在自己进行关闭和重启namenode的组件的时候，没有通过pip文件正常关闭，只能挨个关闭，这个也不是重点。 经过修改pip文件的路径，解决了这个批量关闭启动的问题，原因是/tmpe目录系统 ...
分类：
数据库 时间：
2020-06-05 13:12:31
阅读次数：
111
首先准备一个hadoop源码包，我选择的hadoop版本是：hadoop-2.7.7-src.tar.gz，在hadoop-2.7.7的源码包的根目录下有一个文档叫做BUILDING.txt，这其中说明了编译hadoop所需要的一些编译环境相关的东西。不同的hadoop版本的要求都不一样，对应的版本参照BUILDING.txt安装对应软件（必须联网）安装openssl-develyum-yinst
分类：
其他好文 时间：
2020-06-04 00:52:14
阅读次数：
51
挑战常规 -- 这位老板你是不是搞错了什么 我们是互联网起家的 你懂不懂jvm优化 你懂不懂MySQL调优 你懂不懂分布式锁 冒泡算法写一下 Hadoop原理是什么,.... 那，请问你们的当前客户量是多少？上线了没有？开发团队有多少人？原型设计有没有？ 我们已经上线了一个版本，正在内部测试。我们希 ...
分类：
其他好文 时间：
2020-06-03 13:45:20
阅读次数：
50
