kubernet 1、关闭swapswapoff -a/etc/fstab 注释swap分区 2、将桥接的IPv4流量传递到iptables的链cat > /etc/sysctl.d/k8s.conf <<EOFnet.bridge.bridge-nf-call-ip6tables = 1net.b ...
分类：
Web程序 时间：
2020-07-16 00:11:48
阅读次数：
120
这篇文章主要用来介绍Kafka & Zookeeper相关基础知识。 1. Kafka是由Linkedin开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景，之后于2 ...
分类：
编程语言 时间：
2020-07-15 23:49:56
阅读次数：
93
当面对可能存在的大数据，不能把所有数据放在一张表里，否则会影响到查询效率，那么我们需要对数据库进行分表分区，例如一天一张表，当插入数据时，判断表是否存在，不存在则创建新表，并进行数据插入。 如果我们需要在程序中通过sql语句查询来获得存在的数据库，以及某个数据库的所有表名，可以这样写： #查询所有的 ...
分类：
数据库 时间：
2020-07-15 23:31:13
阅读次数：
130
为了解决分区分配带来的碎片问题，引入了伙伴系统:无论已分配分区或空闲分区，其大小均为2的k次幂 伙伴系统：两个大小相同的相邻块合并成一个更大的块时，首地址必须是块（合成后的块）大小的整数倍。 例题： 对于8KB大小的块，地址224KB相邻的8KB大小的块的首地址是224KB-8 = 216KB，22 ...
分类：
其他好文 时间：
2020-07-15 23:26:48
阅读次数：
108
1:查看需要迁移的数据库的用户及对应的表空间select default_tablespace from dba_users where username='登录用户' 2：一键查询有表分区的语句，看对应的需要转移的用户是否有用表分区的表SELECT TABLE_NAME,PARTITION_NAM ...
分类：
数据库 时间：
2020-07-15 15:09:25
阅读次数：
112
课程内容： 1. 简单的操作一下集群 2. 简单的介绍几个工具（企业） 3. Producer的原理（核心，重点） 4. 简单kafka的代码 5. 介绍里面的核心参数（重点） 消费者原理 --replica-factor 2 --partitions 2我们一般设置分区数，建议是节点的倍数 Pro ...
分类：
其他好文 时间：
2020-07-15 01:03:51
阅读次数：
81
参考：https://www.cnblogs.com/kevingrace/p/5740940.html 一，Drbd介绍 DRBD（Distributed ReplicatedBlock Device）是一种基于软件的，无共享，分布式块设备复制的存储解决方案，在服务器之间的对块设备（硬盘，分区，逻 ...
分类：
其他好文 时间：
2020-07-14 18:51:01
阅读次数：
87
df -h 查看当前系统磁盘使用状况 fdisk -l 可以看见，我新添加了一块硬盘，大小为10G，新磁盘/dev/sdb fdisk /dev/sdb 对新的磁盘进行分区 在交互模式输入 vgdisplay -v 查看卷分组为centos pvcreate /dev/sdb1 为之前新增的分区创建 ...
分类：
其他好文 时间：
2020-07-14 18:02:21
阅读次数：
119
内容： 1. kafka的核心概念 Topic：主题 Partition：分区 分区具体在服务器上面表现为其实就是一个目录 一个主题下面，有多个分区，这些分区会存储到不同的kafka的服务器上面 或者我们可以这样说：其实就是在不同的主机上面建了不同目录 Producer：生产者 Consumer：消 ...
分类：
其他好文 时间：
2020-07-13 23:09:51
阅读次数：
98
一、概述 将数据以parquet模式写入到hive的分区表中时，底层源码有个错误，在进行分割字段判断时，没有引用已传入字符，多了一个“=”；该错误在hive的client中也会碰到 错误原因是底层分割符引用错误， 二、解决方法 从https://github.com/apache/parquet-m ...
分类：
其他好文 时间：
2020-07-13 21:24:30
阅读次数：
75
