课程内容： 1. 简单的操作一下集群 2. 简单的介绍几个工具（企业） 3. Producer的原理（核心，重点） 4. 简单kafka的代码 5. 介绍里面的核心参数（重点） 消费者原理 --replica-factor 2 --partitions 2我们一般设置分区数，建议是节点的倍数 Pro ...
分类：
其他好文 时间：
2020-07-15 01:03:51
阅读次数：
81
参考：https://www.cnblogs.com/kevingrace/p/5740940.html 一，Drbd介绍 DRBD（Distributed ReplicatedBlock Device）是一种基于软件的，无共享，分布式块设备复制的存储解决方案，在服务器之间的对块设备（硬盘，分区，逻 ...
分类：
其他好文 时间：
2020-07-14 18:51:01
阅读次数：
87
df -h 查看当前系统磁盘使用状况 fdisk -l 可以看见，我新添加了一块硬盘，大小为10G，新磁盘/dev/sdb fdisk /dev/sdb 对新的磁盘进行分区 在交互模式输入 vgdisplay -v 查看卷分组为centos pvcreate /dev/sdb1 为之前新增的分区创建 ...
分类：
其他好文 时间：
2020-07-14 18:02:21
阅读次数：
119
内容： 1. kafka的核心概念 Topic：主题 Partition：分区 分区具体在服务器上面表现为其实就是一个目录 一个主题下面，有多个分区，这些分区会存储到不同的kafka的服务器上面 或者我们可以这样说：其实就是在不同的主机上面建了不同目录 Producer：生产者 Consumer：消 ...
分类：
其他好文 时间：
2020-07-13 23:09:51
阅读次数：
98
一、概述 将数据以parquet模式写入到hive的分区表中时，底层源码有个错误，在进行分割字段判断时，没有引用已传入字符，多了一个“=”；该错误在hive的client中也会碰到 错误原因是底层分割符引用错误， 二、解决方法 从https://github.com/apache/parquet-m ...
分类：
其他好文 时间：
2020-07-13 21:24:30
阅读次数：
75
记一次Dynamics CRM Audit 查询失败的问题。 客户环境现象：由于业务逻辑需要使用RetrieveAuditDetailRequest API查询相关Record的详细更改信息。但查询过程中偶尔会出现失败的情况，出错原因提示是 System.TimeoutException: 'The ...
分类：
其他好文 时间：
2020-07-13 13:30:39
阅读次数：
58
在 RMAN 中提供了表级别恢复（ RECOVER TABLE ）。在 Oracle 12c 中，在发生 drop 或 truncate 的情况下， 可以从 RMAN 备份种将一个特定的表或分区恢复到某个时间点、 SCN 或归档序列号，并且可以有下面的选择： l 使用REMAP选项将表恢复为一个新表 ...
分类：
其他好文 时间：
2020-07-13 09:28:23
阅读次数：
119
Linux 内核是操作系统的核心，它控制对系统资源（例如：CPU、I/O设备、物理内存和文件系统）的访问。在引导过程中以及系统运行时，内核会将各种消息写入内核环形缓冲区。这些消息包括有关系统操作的各种信息。 内核环形缓冲区是物理内存的一部分，用于保存内核的日志消息。它具有固定的大小，这意味着一旦缓冲 ...
分类：
系统相关 时间：
2020-07-12 22:33:35
阅读次数：
103
一，执行流程 由图我们可以看到， MapReduce存在以下4个独立的实体。 JobClient：运行于client node，负责将MapReduce程序打成Jar包存储到HDFS，并把Jar包的路径提交到Jobtracker，由Jobtracker进行任务的分配和监控。 JobTracker：运 ...
分类：
其他好文 时间：
2020-07-12 22:18:50
阅读次数：
82
一、监控CPU和内存的日志工具的使用 1、阿里云提供了一个监控CPU和内存的脚本，因free版本不同的原因，脚本中的内容有做细微的修改，脚本内容如下： #!/bin/bash #When the free memory very less ,this script to collect CPU/me ...
分类：
系统相关 时间：
2020-07-12 20:48:34
阅读次数：
115
