RabbitMQ 是一款优秀的消息中间件。相比于 kafka 更好上手，相比于 ActiveMQ 拥有更好的性能。 RabbitMQ 支持单机部署，集群部署。 集群部署有包括 ： 普通模式（多节点集群）、镜像集群。 节点分为 ： 磁盘节点（disc） 和 内存节点 (RAM)。 镜像集群其实也是 镜 ...
分类：
其他好文 时间：
2020-06-24 00:25:28
阅读次数：
55
总体思路：对新增硬盘进行分区（新硬盘可以直接增加逻辑分区挂载目录，老硬盘先删除逻辑分区重新分区再挂载目录），对逻辑分区再进行目录挂载。 虚拟机中ubuntu系统扩展磁盘有两种方式： 一、添加一块新硬盘，对新硬盘进行分区并挂载硬盘。 二、编辑虚拟机，增加磁盘容量，对原有磁盘扩容后再分区、再挂载。 方式 ...
分类：
系统相关 时间：
2020-06-24 00:12:32
阅读次数：
107
Kafka-分区分配规则 kafka的基本存储单元是分区。分区无法在多个broker间进行再细分，也无法在同一个broker的多个磁盘上进行再细分。所以，分区的大小受到单个挂载点可用空间的限制。 在配置kafka的时候，使用log.dirs参数来配置用于存储分区的目录清单。 分区分配 在创建主题时， ...
分类：
其他好文 时间：
2020-06-23 22:53:00
阅读次数：
73
滑动窗口短信发送限流算法 1.有两条规则 基于IP的限制和基于手机号的限制 IP规则: 1分钟限制5 10分钟限制30 1小时限制50 手机号规则: 1分钟限制1 10分钟限制5 1小时限制10 2.滑动窗口就是随着时间的流动 , 进行动态的删减区间内的数据 , 限制时获取区间内的数据 最主要的是用 ...
分类：
Web程序 时间：
2020-06-23 19:23:27
阅读次数：
97
舆情爬虫分析：硬件: 4台服务器,分别放redis、python爬虫、mysql和 kafka四大板块。软件:1. mysql2. redis #leap1 /usr/bin/redis-cli /usr/bin/redis-server redis 3.1.103 64 bit 3. python ...
分类：
编程语言 时间：
2020-06-23 17:22:37
阅读次数：
57
Nifi生产环境使用 1、服务器日志目录内的 log 文件中,我们使用 Apache Flume 这个工具将原始数据抽取出来 kafka sink , 2、Nifi接入kafka数据。 首先做验证,然后过滤格式错误记录,然后路由不同的日志类型. nifi能做到这些的关键在于它的 flowfile 这 ...
分类：
其他好文 时间：
2020-06-23 15:17:07
阅读次数：
98
1、创建一个Visual C++的Empty Project，如果需要支持Windows XP将Platform Toolset设置为Visual Studio 2013 - Windows XP (v120_xp)。 2、Configuration Type设置为Dynamic Library ( ...
达梦数据库适配采坑记 达梦数据库适配采坑记 问题一 问题描述: 字段内容超长错误: 问题详解: 达梦数据库和Oracle同样,对字段的长度有严格的规范,当然Mysql也是有的,但是默认是不启用的,哪怕超出了,也会自动扩容,但是Oracle和达梦是不会的; 解决方案: 方案一: 对数据库的字段长度进行 ...
分类：
数据库 时间：
2020-06-23 12:55:42
阅读次数：
156
第四天kafka知识 Producer基础的案例 1 Producer的小案例 电商系统，会员，凡是能登录的人都是会员。 你消费了多少钱，那么就给给你累计多少积分。 比如，你消费了1000块钱，那么同时给你找个会员号1000积分 1.1 在kafka里面，我们发送消息的时候，可以给消息指定key，也 ...
分类：
其他好文 时间：
2020-06-23 01:14:29
阅读次数：
76
