ApacheRanger简介ApacheRanger提供一个集中式安全管理框架,并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问权限。Ranger优点：丰富的组件支持（HDFS，HBASE，HIVE，YARN，KAFKA，STORM）提供了细粒度级权限控制（h
分类：
其他好文 时间：
2020-11-18 13:10:32
阅读次数：
10
Hadoop/Hive自带权限控制集群安全下需求：支持多组件，最好能支持当前大数据技术栈的主要组件，HDFS、HBASE、HIVE、YARN、KAFKA等支持细粒度的权限控制，可以达到HIVE列，HDFS目录，HBASE列,YARN队列开源，社区活跃，按照现有的集群情况改动尽可能的小，而且要符合业界的趋势。现有方案：Hadoop、Hive本身的权限控制Kerberos安全认证ApacheRange
分类：
其他好文 时间：
2020-11-18 12:15:31
阅读次数：
8
1、hbase数据flush过程 1）当MemStore数据达到阈值（默认是128M，老版本是64M），将数据刷到硬盘，将内存中的数据删除，同时删除HLog中的历史数据； 2）并将数据存储到HDFS中； 3）在HLog中做标记点。 2、数据合并过程 1）当数据块达到4块，hmaster将数据块加载到 ...
分类：
其他好文 时间：
2020-11-17 11:47:51
阅读次数：
3
案例｜S3、Cassandra、HDFS设计中隐藏的高可用法则Anythingthatcangowrongwillgowrong.会出错的事总会出错。——墨菲定律高可用NoSQL数据库是指服务无中断地持续运行的系统。许多基于网站的业务要求数据服务能够一直不中断。例如，在线购物的数据库需要保证7x24的可用性。为什么需要它们一直运行？假设你的数据库支撑着一个全球化的电子商务网站，那么数分钟的宕机就可
分类：
其他好文 时间：
2020-11-16 13:05:05
阅读次数：
5
1.环境的安装与准备 参考下图： 2.数据库服务的安装与添加（HADOOP，HDFS，HIVE） 如下图所示： 3.华为官网的文档的指导手册（HADOOP，HDFS，HIVE） FusionInsight HD 6.5.1 应用开发指南 03 https://support.huawei.com/e ...
分类：
数据库 时间：
2020-11-13 12:11:51
阅读次数：
18
X Window System protocols and architecture In computing, the X Window System (commonly X11 or X) is a network-transparent windowing system for bitmap ...
#!/bin/sh use=`df|grep "/dev/vdb1"|awk '{print $5}'| sed 's/%//g'` if [[ $use -gt 80 ]];then hdfs dfs -rm -r -skipTrash /user/admin/.flink fi; 先编写好she ...
分类：
系统相关 时间：
2020-11-08 16:52:29
阅读次数：
30
公司项目目前使用 SOA 架构（Service-oriented architecture：服务导向架构），每个服务作为一个单体对外提供接口，服务之间使用 GitHub OpenFeign 调用接口。 服务提供者正常提供接口，把需要暴露的接口封装为一个 client jar 包，服务调用者正常引入 ...
分类：
其他好文 时间：
2020-11-08 16:39:17
阅读次数：
16
Hadoopnamenode高可用性分析：QJM核心源代码解读背景介绍HDFSnamenode在接受写操作时会记录日志，最早HDFS日志写本地，每次重启或出现故障后重启，通过本地镜像文件＋操作日志，就能还原到宕机之前的状态，不会出现数据不一致。如果要做高可用(HA)，日志写在单个机器上，这个机器磁盘出现问题，重启就恢复不了，导致数据不一致，出现的现象就是新建的文件不存在，删除成功的还在等诡异现象。
分类：
其他好文 时间：
2020-11-07 17:00:30
阅读次数：
24
TechRoad 1. Architecture <Java Application architecture> modular, Spring context config <EIS> technology decision, base eis-platform-brms <MS PPP> cha ...
分类：
其他好文 时间：
2020-11-07 16:51:15
阅读次数：
24
