yarn是什么： 旧版本MapReduce中的JobTracker/TaskTracker在可扩展性、内存消耗、可靠性和线程模型方面存在很多问题，需要开发者做很多调整来修复。 Hadoop的开发者对这些问题进行了Bug修复，可是由此带来的成本却越来越高，为了从根本上解决旧MapReduce存在的问题 ...
分类：
其他好文 时间：
2020-11-19 12:56:26
阅读次数：
17
ApacheRanger简介ApacheRanger提供一个集中式安全管理框架,并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问权限。Ranger优点：丰富的组件支持（HDFS，HBASE，HIVE，YARN，KAFKA，STORM）提供了细粒度级权限控制（h
分类：
其他好文 时间：
2020-11-18 13:10:32
阅读次数：
10
Hadoop/Hive自带权限控制集群安全下需求：支持多组件，最好能支持当前大数据技术栈的主要组件，HDFS、HBASE、HIVE、YARN、KAFKA等支持细粒度的权限控制，可以达到HIVE列，HDFS目录，HBASE列,YARN队列开源，社区活跃，按照现有的集群情况改动尽可能的小，而且要符合业界的趋势。现有方案：Hadoop、Hive本身的权限控制Kerberos安全认证ApacheRange
分类：
其他好文 时间：
2020-11-18 12:15:31
阅读次数：
8
导语如果之前的单机版hadoop环境安装满足不了你，集群版hadoop一定合你胃口，轻松入手。目录集群规划前置条件配置免密登录3.1生成密匙3.2免密登录3.3验证免密登录集群搭建4.1下载并解压4.2配置环境变量4.4修改配置4.4分发程序4.5初始化4.6启动集群4.7查看集群提交服务到集群1.集群规划这里搭建一个3节点的Hadoop集群，其中三台主机均部署DataNode和NodeManag
分类：
其他好文 时间：
2020-11-18 12:13:01
阅读次数：
6
视觉算法开发过程中，如何快速地验证算法是一个头疼的问题。 通常有两种方式，或是下载公开数据来验证，或是通过仿真环境采集数据来验证，然而这两种方式都不便携，即都需要大量的准备工作和一定的存储要求。 本文介绍一个简单袖珍的仿真器，可快速获取视觉算法所需要的验证数据，用于视觉标定和视觉定位等算法。 此仿真 ...
分类：
其他好文 时间：
2020-11-17 11:50:07
阅读次数：
5
1、大数据有哪些特点？ valume(大量） velocity（高速） variety（多样） value（低价值密度） 2、什么是大数据？ 指无法在一定的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信 ...
分类：
其他好文 时间：
2020-11-16 13:51:20
阅读次数：
9
1.环境的安装与准备 参考下图： 2.数据库服务的安装与添加（HADOOP，HDFS，HIVE） 如下图所示： 3.华为官网的文档的指导手册（HADOOP，HDFS，HIVE） FusionInsight HD 6.5.1 应用开发指南 03 https://support.huawei.com/e ...
分类：
数据库 时间：
2020-11-13 12:11:51
阅读次数：
18
本周因为一些原因实际开发时间过于零散，因而开发报告未按每日进行总结 但是本周进展也说不上多，这点不太好 花在学习上：20小时 花在代码上：15小时 花在解决问题上：9小时 本周遇到的问题：Hadoop可以正常启动 但是Namenode无法通过浏览器访问(连接被拒绝)，离谱的是Secondary Na ...
分类：
其他好文 时间：
2020-11-12 13:43:39
阅读次数：
7
本周主要是制作了河北重大技术需求分析的数据录入板块，通过这个主要是练习了前端的制作，例如通过js以及json数据进行多级联动，还有一些特殊条件的查询等等。另外就是软件需求的分析，对于客户提出的要求我们作为软件的设计者以现有技术为根基来进行设计，设计出尽可能合理的系统，并针对其中的诸多细节与客户进行交 ...
分类：
其他好文 时间：
2020-11-12 13:30:08
阅读次数：
9
概览 自动?化?测试?系统?的?一个?常见?要求?是?生成?一份?完整?的?报表，?其中?包含?所有?结果?信息，?可?解答?以下?问题：“什么?是?序列?测试？”和“每?个?待?测?设备?(UUT)?的?测试?结果?是?什么？”。 本文?档?提供?有关?TestStand?报表?的?信息，?包括? ...
分类：
其他好文 时间：
2020-11-11 15:54:54
阅读次数：
5
