ApacheRanger简介ApacheRanger提供一个集中式安全管理框架,并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问权限。Ranger优点：丰富的组件支持（HDFS，HBASE，HIVE，YARN，KAFKA，STORM）提供了细粒度级权限控制（h
分类：
其他好文 时间：
2020-11-18 13:10:32
阅读次数：
10
1、进入hbase shell 报内存不足 描述 做hbase数据迁移的时候，需要在目标集群创建与源端集群相同的表以及表属性，同时通过bulkload的方式加载数据。 目前迁移开启十个并发，一共迁移4千张表，失败了200+表的迁移。 看来这种迁移还是不能起太多并发，否则导致hbase regions ...
分类：
其他好文 时间：
2020-11-18 12:27:59
阅读次数：
7
Hadoop/Hive自带权限控制集群安全下需求：支持多组件，最好能支持当前大数据技术栈的主要组件，HDFS、HBASE、HIVE、YARN、KAFKA等支持细粒度的权限控制，可以达到HIVE列，HDFS目录，HBASE列,YARN队列开源，社区活跃，按照现有的集群情况改动尽可能的小，而且要符合业界的趋势。现有方案：Hadoop、Hive本身的权限控制Kerberos安全认证ApacheRange
分类：
其他好文 时间：
2020-11-18 12:15:31
阅读次数：
8
背景： 集成一个斑马无线条码打印机，报了一堆错误 classes in a single dex file methods 67667 大于 65536 后来 Unable to get provider com.open.hule.library.downloadmanager.DownloadF ...
分类：
其他好文 时间：
2020-11-17 12:14:45
阅读次数：
5
1、hbase数据flush过程 1）当MemStore数据达到阈值（默认是128M，老版本是64M），将数据刷到硬盘，将内存中的数据删除，同时删除HLog中的历史数据； 2）并将数据存储到HDFS中； 3）在HLog中做标记点。 2、数据合并过程 1）当数据块达到4块，hmaster将数据块加载到 ...
分类：
其他好文 时间：
2020-11-17 11:47:51
阅读次数：
3
Rowkey设计时需要遵循三大原则： 1. 唯一性原则 rowkey在设计上保证其唯一性。rowkey是按照字典顺序排序存储的，因此，设计rowkey的时候，要充分利用这个排序的特点，将经常读取的数据存储到一块，将最近可能会被访问的数据放到一块。 2. 长度原则 rowkey是一个二进制码流，可以是 ...
分类：
其他好文 时间：
2020-11-13 13:05:38
阅读次数：
7
软件行业流行一句话：“不想当架构师的程序员，不是一个好的程序员。” 看似是一种调侃，但从职业发展的层面讲，成为架构师，是一个目标！ 我是王波，一名软件架构师，精通Java互联网技术开发和实践。 成功开发过基于通信、电商、数据管理、OA、ERP、SAAS等相关业务平台的项目。 给大家介绍一下我的Jav ...
分类：
编程语言 时间：
2020-11-10 10:56:13
阅读次数：
24
将.txt格式文件插入Hbase中，代码如下 package addHbase; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.ap ...
分类：
其他好文 时间：
2020-11-06 02:49:19
阅读次数：
37
FlinkStandalone模式部署集群是最简单的一种部署方式，不依赖于其他的组件，另外还支持YARN/Mesos/K8S等模式下的部署Standalone执行架构图：1）client客户端提交任务给Jobmanager2）JobManager负责申请任务运行所需要的资源并管理任务和资源。3）JobManager分发任务给TaskManager执行4）TaskManager定期向JobManag
分类：
其他好文 时间：
2020-11-06 02:26:29
阅读次数：
21
import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.ut ...
分类：
其他好文 时间：
2020-11-06 01:37:17
阅读次数：
15
