Filebeat附带了示例Kibana仪表板，可视化文件，并提供了搜索以可视化Kibana中的Filebeat数据。 本例展示Nginx示例仪表板 步骤一、采集Nginx日志 使用Filebeat Nginx Module采集Nginx Access日志 参考：【Beats】 Filebeat收集N ...
分类：
其他好文 时间：
2020-06-25 10:04:11
阅读次数：
154
安装 pip3 install setuptools pip3 install pykafka pip3 install kafka-python 单台kafka import sys from kafka import KafkaConsumer from kafka.structs import ...
分类：
编程语言 时间：
2020-06-24 21:46:18
阅读次数：
80
消息队列 为什么用? 解耦，削峰，异步 基本模型 生产者 -> MQ -> 消费者 Kafka 十万级/s 适用于大数据领域实时计算，日志采集, ActiveMQ 万/s , RabbitMQ 万/s , RocketMQ 十万/s 造成问题及解决 1.系统可用性降低 (MQ发生故障，全崩了) 2. ...
分类：
其他好文 时间：
2020-06-24 19:24:18
阅读次数：
68
package test import org.apache.spark.sql.{DataFrame, ForeachWriter, Row, SparkSession} import org.apache.spark.sql.streaming.{ProcessingTime, Trigger} ...
分类：
数据库 时间：
2020-06-24 16:23:50
阅读次数：
132
Kafka-文件管理 文件管理 保留数据是kafka的一个基本特性，kafaka不会一直保留数据，也不会等到所有消费者都读取了消息之后才删除消息。相反，kafka为每个主题配置了数据保留期限，规定数据被删除之前可以保留多长时间，或者清理数据之前可以保留的数据量大小。 因为在一个大文件里查找和删除消息 ...
分类：
其他好文 时间：
2020-06-24 00:44:34
阅读次数：
76
一、消息队列概述 消息队列（MessageQueue，简称为MQ）其本质是就是个队列，FIFO先进先出，只不过是队列中储放的主要内容是message，因而叫消息队列主要用于：不同的服务server、进程process、线程thread相互间通信二、选用消息队列的场景①异步处理②流量控制③服务解耦④发 ...
分类：
系统相关 时间：
2020-06-24 00:34:13
阅读次数：
122
RabbitMQ 是一款优秀的消息中间件。相比于 kafka 更好上手，相比于 ActiveMQ 拥有更好的性能。 RabbitMQ 支持单机部署，集群部署。 集群部署有包括 ： 普通模式（多节点集群）、镜像集群。 节点分为 ： 磁盘节点（disc） 和 内存节点 (RAM)。 镜像集群其实也是 镜 ...
分类：
其他好文 时间：
2020-06-24 00:25:28
阅读次数：
55
Kafka-分区分配规则 kafka的基本存储单元是分区。分区无法在多个broker间进行再细分，也无法在同一个broker的多个磁盘上进行再细分。所以，分区的大小受到单个挂载点可用空间的限制。 在配置kafka的时候，使用log.dirs参数来配置用于存储分区的目录清单。 分区分配 在创建主题时， ...
分类：
其他好文 时间：
2020-06-23 22:53:00
阅读次数：
73
舆情爬虫分析：硬件: 4台服务器,分别放redis、python爬虫、mysql和 kafka四大板块。软件:1. mysql2. redis #leap1 /usr/bin/redis-cli /usr/bin/redis-server redis 3.1.103 64 bit 3. python ...
分类：
编程语言 时间：
2020-06-23 17:22:37
阅读次数：
57
Nifi生产环境使用 1、服务器日志目录内的 log 文件中,我们使用 Apache Flume 这个工具将原始数据抽取出来 kafka sink , 2、Nifi接入kafka数据。 首先做验证,然后过滤格式错误记录,然后路由不同的日志类型. nifi能做到这些的关键在于它的 flowfile 这 ...
分类：
其他好文 时间：
2020-06-23 15:17:07
阅读次数：
98
