实验环境 虚拟机数量：3 系统版本：Centos 7.5 Hadoop版本：Apache Hadoop 2.7.3 Zookeeper版本：Apache zookeeper-3.4.10. HBase版本：Apache HBase 1.2.6 1.启动Hadoop集群 在master启动Hadoop ...
分类：
其他好文 时间：
2020-06-10 11:05:53
阅读次数：
63
相关接口文档： https://hbase.apache.org/book.html#arch.overview https://hbase.apache.org/apidocs/index.html http://hbase.apache.org/2.1/apidocs/index.html // ...
分类：
编程语言 时间：
2020-06-09 18:58:34
阅读次数：
66
jar包：是用java写的一些类 用的话直接用就不用再写了 。直接用jar包方便许多。 maven：是用jar包的时候只用下载一次就行了 ，下次再用就不用再下载一遍了。 编程似乎在不断完善 ，没有人知道未来是啥。 我在 写spark：是hadoop的完善。因为map和reduce不够用 。 spar ...
分类：
其他好文 时间：
2020-06-08 20:48:36
阅读次数：
46
恢复内容开始 大数据的分布式计算框架目前使用的最多的就是hadoop的mapReduce和Spark，mapReducehe和Spark之间的最大区别是前者较偏向于离线处理，而后者重视实现性，下面主要介绍mapReducehe和Spark两者的shuffle过程。 MapReduce的Shuffle ...
分类：
其他好文 时间：
2020-06-08 19:17:29
阅读次数：
88
1、KDC 添加用户 ，输入密码 HTTP@HADOOP.COM 2、客户机（linux），kerberos客户端安装 3、客户机（linux），kerberos客户端配置 4、关闭客户机防火墙 systemctl stop firewalld.service 5、配置客户机host文件 6、客户机 ...
分类：
其他好文 时间：
2020-06-08 12:55:03
阅读次数：
154
场景 使用Flink，从阿里云的AMQP中获取数据，然后直接写入到InfluxDB中。即： source：amqp sink：influxdb 环境 Linux：Centos8.0 Hadoop：2.8.3 Flink：1.10.0 Java：1.8.0_77 InfluxDB：1.7.1 Rock ...
分类：
编程语言 时间：
2020-06-08 10:48:29
阅读次数：
55
在项目中频繁访问hbase，造成hbase压力过大，而后设立缓存系统，但是会造成缓存雪崩问题，即当缓存过期时，会出现大量的DB连接，对DB产生迅间高负载。由于采用redis缓存，所以用redis锁的功能来防止过多线程同时访问数据库的现象，对于mutex锁的ttl问题，在项目中不用考虑时间过期问题（因 ...
分类：
其他好文 时间：
2020-06-08 01:00:19
阅读次数：
70
做为一个业务马拉松爱好者和一个不太专业的IT从业者（十多年开发不会，业务略懂，没形成自己的价值体系，啥啥没心得，得过且过十几年），在马拉松的时候想到了这个对照关系。 那就随便写写，看到了博君一笑。 hadoop的map阶段，是通过transform操作，将数据进行转换，这个阶段数据都是在各个机器上， ...
分类：
其他好文 时间：
2020-06-08 00:39:55
阅读次数：
61
hbase已经配置好 开始使用hbase时 先启动hadoop集群 start-all.sh(前提是在bashrc中配置export PATH=$PATH:$HADOOP_HOME/sbin export PATH=$PATH:$HAOOP_HOME/bin) 然后start-hbase.sh，启动 ...
分类：
其他好文 时间：
2020-06-08 00:39:09
阅读次数：
68
一、Hive的压缩和存储 1，MapReduce支持的压缩编码 压缩格式 工具 算法 文件扩展名 是否可切分 对应的编码/解码器 DEFLATE 无 DEFLATE .deflate 否 org.apache.hadoop.io.compress.DefaultCodec Gzip gzip DEF ...
分类：
其他好文 时间：
2020-06-07 19:08:04
阅读次数：
65
