一、消息重复现象 在 MQTT 协议中，给出了三种传递消息时能够提供的服务质量标准： At most once:最多一次，这种情况会丢失部分数据，一般日志收集这种对数据不严格的可以使用 At least once:最少一次，这种会导致一条消息重复发送 Exactly once:正好一次，一条消息只会 ...
分类：
其他好文 时间：
2020-01-30 09:14:17
阅读次数：
500
ETCD 日志收集项目 为什么要自己写不用ELK? ELK: 部署的时候麻烦每一个filebeat都需要配置一个配置文件 使用etcd来管理被收集的日志项。 项目的架构 上节课项目进度 1. kafka：消息队列 2. tailf：从文件里读日志 3. go ini：解析配置文件 今日内容 etcd ...
分类：
其他好文 时间：
2020-01-29 10:58:36
阅读次数：
193
进程间通信： 1、进程间的数据共享： 管道、 消息队列、 共享内存、 Unix域套接字 易用性： 消息队列 > Unix域套接字 > 管道 > 共享内存（经常与信号量一起用） 效 率： 共享内存 > Unix域套接字 > 管道 > 消息队列 常 用： 共享内存、Unix域套接字 2、异步通信 信号 ...
分类：
系统相关 时间：
2020-01-29 10:55:58
阅读次数：
87
一、kafka的基础架构 kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。 kafka的具体架构如图： 学习kafka的架构前，我们需要了解图中的每个角色： （1）consumer group 消费者组：这是kafka消息队列特有的角色，它是一堆消费组组合成的。消 ...
分类：
其他好文 时间：
2020-01-28 20:47:17
阅读次数：
139
消息消费以组的的模式开展； 一个消费组内可以包含多个消费者，每一个消费组可订阅多个主题； 消费组之间有集群模式与广播模式两种消费模式：集群模式-主题下的同一条消息只允许被其中一个消费者消费。广播模式-主题下的同一条消息将被集群内的所有消费者消费一次。集群模式下消息队列负载机制遵循一个通用的思想：一个 ...
分类：
其他好文 时间：
2020-01-28 19:05:48
阅读次数：
88
Namespace是将内核的全局资源做封装，使得每个Namespace都有一份独立的资源，因此不同的进程在各自的Namespace内对同一种资源的使用不会互相干扰。 目前Linux内核总共支持以下6种Namespace： IPC：隔离System V IPC和POSIX消息队列。 Network：隔 ...
分类：
系统相关 时间：
2020-01-28 11:03:58
阅读次数：
88
一、微服务架构特点 （1）服务服务力度：粒度是围绕业务进行拆分的。 （2）独立进程：任何一个微服务从它的开发，测试，上线，以及运维等过程都可以独立的进行，不依赖以其他的微服务。 （3）围绕业务建模：微服务架构是围绕业务建模的 （4）轻量级通信：通信模式是轻量级的，两个模块之间的通信没有语言关系，没有 ...
分类：
其他好文 时间：
2020-01-27 20:39:30
阅读次数：
130
这里会用到ftok()函数，点击官方文档地址: ftok (PHP 4 >= 4.2.0, PHP 5, PHP 7) ftok — Convert a pathname and a project identifier to a System V IPC key 说明 ftok ( string ...
分类：
Web程序 时间：
2020-01-27 00:10:52
阅读次数：
80
一、队列模型 我们常用的的生产者-消费者模式，生成者生成消息，消费者消费已有的消息。消息队列一开始也是使用这种模式称之为队列模型，生产者将消息投递到消息队列中，消费者从消息队列中取出消息，而消息就是已队列的结构存放在消息队列中。但这种模型有个缺点，当这个消息需要被多个消费者消费的时候，需要生产者发送 ...
分类：
其他好文 时间：
2020-01-26 23:59:02
阅读次数：
135
公司选取Kafka作为一种消息中间件产品。考虑的问题会是： 选用什么消息中间件？ 为什么要用这个？ 好处与坏处？ 一、选用什么消息中间件，举例说明几种中间件产品的优势和缺点（选型分析）： ActiveMQ是老牌的消息中间件，但是问题在于没法确认ActiveMQ可以支撑互联网公司的高并发、高负载以及高 ...
分类：
其他好文 时间：
2020-01-23 12:47:01
阅读次数：
88
