python—Celery异步分布式 Celery 是一个python开发的异步分布式任务调度模块，是一个消息传输的中间件，可以理解为一个邮箱，每当应用程序调用celery的异步任务时，会向broker传递消息，然后celery的worker从中取消息 Celery 用于存储消息以及celery执行 ...
分类：
编程语言 时间：
2018-11-20 15:02:59
阅读次数：
250
断线重连机制是ActiveMQ的高可用性具体体现之一。ActiveMQ提供failover机制去实现断线重连的高可用性，可以使得连接断开之后，不断的重试连接到一个或多个brokerURL。 默认情况下，如果client与broker直接的connection断开，则client会新起一个线程，不断的 ...
分类：
其他好文 时间：
2018-11-20 13:31:53
阅读次数：
169
在之前的博客中，介绍了Kafka Web Console这 个监控工具，在生产环境中使用，运行一段时间后，发现该工具会和Kafka生产者、消费者、ZooKeeper建立大量连接，从而导致网络阻塞。并且这个 Bug也在其他使用者中出现过，看来使用开源工具要慎重！该Bug暂未得到修复，不得已，只能研究下 ...
分类：
其他好文 时间：
2018-11-20 11:29:52
阅读次数：
177
broker端参数主要在config/server.properties目录下设置： 启动命令：nohup ./kafka-server-start.sh -daemon ../config/server.properties & broker.id参数：Kafka使用唯一的一个整数来标识每个bro ...
分类：
其他好文 时间：
2018-11-19 20:19:05
阅读次数：
138
一、准备 1. 三台虚拟机 2. zookeeper环境 3. java 环境 二、 下载安装文件并解压 三、修改配置 配置文件地址 ：config/server.properties 不同机器的 broker.id 和 listeners 需要根据不同的机器单独配置 四、修改环境变量 vim /e ...
分类：
其他好文 时间：
2018-11-17 23:18:19
阅读次数：
161
下面一段文字是摘自doris官方文档：注：在生产环境中，所有实例都应使用守护进程启动，以保证进程退出后，会被自动拉起，如 Supervisor。如需使用守护进程启动，需要修改各个 start_xx.sh 脚本，去掉最后的 & 符号 首先安装supervisor,具体请参照本人的另一篇博客CentOS ...
分类：
系统相关 时间：
2018-11-17 17:56:28
阅读次数：
258
想用django做一个自动运维平台，利用netsnmp来获取交换机及服务器信息，但是snmpget任务需要在后台实时运行，为了不影响html响应，利用celery来结合django做异步任务队列。一、环境准备1.首先安装celerypip3installcelery2.安装djcelerypip3installdjango-celery3.安装一个broker我们必须拥有一个broker消息队列用
分类：
其他好文 时间：
2018-11-11 23:38:29
阅读次数：
309
为了更好的做负载均衡，Kafka尽量将所有的Partition均匀分配到整个集群上。一个典型的部署方式是一个Topic的Partition数量大于Broker的数量。同时为了提高Kafka的容错能力，也需要将同一个Partition的Replica尽量分散到不同的机器。实际上，如果所有的Replica都在同一个Broker上，那一旦该Broker宕机，该Partition的所有Replica都无法工作，也就达不到HA的效果。同时，如果某个Broker宕机了，需要保证它上面的负载可以被均匀的分配到其它幸存的所有Broker上。
分类：
其他好文 时间：
2018-11-11 17:58:00
阅读次数：
229
一个典型的Kafka集群中包含若干Producer（可以是web前端产生的Page View，或者是服务器日志，系统CPU、Memory等），若干broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高），若干Consumer Group，以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置，选举leader，以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到broker，Consumer使用pull模式从broker订阅并消费消息。
分类：
其他好文 时间：
2018-11-10 23:53:56
阅读次数：
231
1. 启动kafka 2. 创建topic 3. 查询topic 4. 查询topic的详细描述 5. 发送数据 6. 接收数据 7. 删除topic 8. 查询topic的offset的范围 ...
分类：
其他好文 时间：
2018-11-10 19:10:33
阅读次数：
184
