01 我们一起学大数据 老刘今天开始了大数据Hadoop知识点的复习，Hadoop包含三个模块，这次先分享出Hadoop中的HDFS模块的基础知识点，也算是对今天复习的内容进行一次总结，希望能够给想学大数据的同学一点帮助，也希望能够得到大佬们的批评和指点！（每个点都很重要，都不能忽视） 02 需谨记 ...
分类：
其他好文 时间：
2020-11-23 12:18:23
阅读次数：
6
@ 1.Docker概述 1.1Docker为什么会出现 一款产品：开发--》上线，需要两套环境！应用环境，应用配置！ 开发 运营之间产生问题：我在我的电脑上可以运行！版本更新导致服务不可用！对于运维就很难 开发即运维！ 环境配置十分麻烦，每一个机器都要部署环境（集群Redis、ES、Hadoop。 ...
分类：
其他好文 时间：
2020-11-21 12:47:24
阅读次数：
31
java程序性能分析之thread dump和heap dump 博客分类： java基础 javajmapjstack 一.dump基本概念 在故障定位(尤其是out of memory)和性能分析的时候，经常会用到一些文件来帮助我们排除代码问题。这些文件记录了JVM运行期间的内存占用、线程执行等 ...
分类：
编程语言 时间：
2020-11-21 12:39:10
阅读次数：
19
认识Hive 从MapReduce到SQL Hive架构 三种安装方式 Hive与关系型数据库的区别 1. 认识Hive 前面我们讲到了mapreduce计算框架，各位需要通过java编码的形式来实现设计运算过程，Hive的设计目的就是为了让精通sql技能而java较弱的分析师能够利用hadoop进 ...
分类：
其他好文 时间：
2020-11-21 12:33:40
阅读次数：
7
HBase是一个高可靠、高性能、面向列的，主要用于海量结构化和半结构化数据存储的分布式key-value存储系统。它基于Google Bigtable开源实现，但二者有明显的区别：Google Bigtable基于GFS存储，通过MAPREDUCE处理存储的数据，通过chubby处理协同服务；而HB... ...
分类：
其他好文 时间：
2020-11-20 12:05:39
阅读次数：
11
彩虹色的圆圈对于Mac用户来说是一个痛苦的景象。如果幸运的话，它会在几秒钟内消失，但更常见的是持续几分钟，让您无奈地被锁定在应用程序或整个Mac之外。由于并不总是很清楚如何处理滚轮光标或首先导致它的原因，所以我们将其分解。在本文中，我们将研究什么是旋转的沙滩球，为什么以及何时出现，以及您可以如何做。 ...
分类：
系统相关 时间：
2020-11-20 11:30:04
阅读次数：
26
yarn是什么： 旧版本MapReduce中的JobTracker/TaskTracker在可扩展性、内存消耗、可靠性和线程模型方面存在很多问题，需要开发者做很多调整来修复。 Hadoop的开发者对这些问题进行了Bug修复，可是由此带来的成本却越来越高，为了从根本上解决旧MapReduce存在的问题 ...
分类：
其他好文 时间：
2020-11-19 12:56:26
阅读次数：
17
数据源被代理后，通过被DataSourceProxy代理后，所执行的sql会被提取，解析，保存前镜像后，再执行业务sql，再保存后镜像，以便与后续出现异常，进行二阶段的回滚操作。关键技术四：集群HA，多层级冗余实现系统无单点故障GaussDB(openGauss)通过硬件冗余、实例冗余、数据冗余，实 ...
分类：
其他好文 时间：
2020-11-19 12:23:55
阅读次数：
4
ApacheRanger简介ApacheRanger提供一个集中式安全管理框架,并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问权限。Ranger优点：丰富的组件支持（HDFS，HBASE，HIVE，YARN，KAFKA，STORM）提供了细粒度级权限控制（h
分类：
其他好文 时间：
2020-11-18 13:10:32
阅读次数：
10
1、进入hbase shell 报内存不足 描述 做hbase数据迁移的时候，需要在目标集群创建与源端集群相同的表以及表属性，同时通过bulkload的方式加载数据。 目前迁移开启十个并发，一共迁移4千张表，失败了200+表的迁移。 看来这种迁移还是不能起太多并发，否则导致hbase regions ...
分类：
其他好文 时间：
2020-11-18 12:27:59
阅读次数：
7
