一、分区类型 主分区：最多4个 扩展分区： 最多1个 主分区+扩展分区最多4个 不能写数据，只能包含逻辑分区 逻辑分区：扩展分区下的分区 二、格式化 格式化最主要的目的是写入文件系统 写入文件系统主要是将磁盘：划分为等大的block，创建inode表，inode是一个结构体，包含了一个文件的权限，大 ...
分类：
系统相关 时间：
2020-06-16 23:43:03
阅读次数：
73
摘要：Kafka中的位移是个极其重要的概念，因为数据一致性、准确性是一个很重要的语义，我们都不希望消息重复消费或者丢失。而位移就是控制消费进度的大佬。本文就详细聊聊kafka消费位移的那些事，包括： 概念剖析 kafka的两种位移 关于位移（Offset），其实在kafka的世界里有两种位移： 分区 ...
分类：
其他好文 时间：
2020-06-16 21:54:32
阅读次数：
65
hbase建表create高级属性 //hbase 表预分区也就是手动分区 这个很重要 下面几个shell 命令在后续的hbase 操作中可以起到很到的作用，且主要体现在建表的过程中，看下面几个create 属性1、BLOOMFILTER 默认是NONE 是否使用布隆过虑使用何种方式布隆过滤可以每列 ...
分类：
其他好文 时间：
2020-06-16 15:09:09
阅读次数：
150
1，如果预聚合不影响最终结果，可以使用conbine，提前对数据聚合，减少数据量。 2，使用2次mr的方式。第一次mr，在map输出是给key加上一个前缀，则可以把相同的key分配到不同的reduce聚合，可以实现同一个key数据量大的问题；第二次mr对把第一次mr输出的数据的key去掉前缀，在聚合 ...
分类：
其他好文 时间：
2020-06-16 13:24:44
阅读次数：
54
我的Elasticsearch系列文章，逐渐更新中，欢迎关注0A.关于Elasticsearch及实例应用00.Solr与ElasticSearch对比01.ElasticSearch能做什么？02.Elastic Stack功能介绍03.如何安装与设置Elasticsearch API04.如果通 ...
分类：
编程语言 时间：
2020-06-16 00:58:24
阅读次数：
100
#ls命令 ls命令用来显示目标列表，在Linux中是使用率较高的命令。ls命令的输出信息可以进行彩色加亮显示，以分区不同类型的文件。 ##语法 ls 参数 查看对象 (这个查看的对象可以是目录也可以是文件) ##参数详解 -a：显示所有档案及目录（ls内定将档案名或目录名称为“.”的视为影藏，不会 ...
分类：
系统相关 时间：
2020-06-15 22:42:32
阅读次数：
89
1.请先创建好命名空间 .然后再创建表 . create 'gld:student',{NAME=>'cf1', VERSIONS=>5}, {SPLITS => ['1', '2', '3', '4', '5', '6', '7', '8', '9']} 我这里的namespace是提前创建好了的 ...
分类：
其他好文 时间：
2020-06-15 10:36:55
阅读次数：
87
默认方式：先入先出，消息被追加写入每个分区的尾部 分区：可以在不同的服务器上，也就是说，一个主题可以横跨多个服务器 我们吧一个主题的数据看成一个流，不管分多少区，流就是一组从生产者移动到消费者 一个kafka服务器被称为broker，一个broker可以轻松处理数千个分区一级美妙百万级的消息量 保留 ...
分类：
其他好文 时间：
2020-06-15 10:14:47
阅读次数：
57
Linux分区和文件夹关联的 根必须有一个独立的分区和它关联，至少分配一个分区给根用 一个硬盘，默认叫 /dev/sda ，假设200G 分区/dev/sda1 mount到/boot目录，这个目录存放引导数据，不需要太多空间，不要存放其它无关数据，1G足够，事实上也就一两百兆空间数据，文件夹叫挂载 ...
分类：
系统相关 时间：
2020-06-14 23:39:07
阅读次数：
79
Ubuntu安装过程中，磁盘分区是我们头疼的环节，如果直接按照安装程序推荐总感觉分得不太对，磁盘用着用着就不够用了，特别是装双系统的情况下，本文介绍一下笔者的分区方案。 1. 确定要安装的磁盘 确定要安装的磁盘，并将多余无用的分区格式化，不过也要注意不要影响双系统原来的系统 2. 创建主分区 5G ...
分类：
系统相关 时间：
2020-06-14 20:58:53
阅读次数：
309
