标签:
RabbitMQ是一个消息代理,核心原理:发送消息,接收消息。
RabbitMQ主要用于组件之间的解耦,消息发送者无需知道消息使用者的存在,反之亦然。
单向解耦 双向解耦(如:RPC)
例如一个日志系统,很容易使用RabbitMQ简化工作量,一个Consumer进行消息的正常处理,另一个Consumer复制对消息进行日志记录,只要在程序中指定两个Consumer所监听的queue以相同的方式绑定到同一个exchange即可,剩下的消息分发工作由RabbitMQ完成。
安装rabbitmq,请参考官网。
首先通过一个非常简单的”hello world“例子介绍如何使用RabbitMQ,然后再介绍其涉及的基本概念并对交换机和队列多做点介绍。
本例非常简单——发送一个消息”hello world“,然后获取它并输出到屏幕。
总共需要两个程序,一个发送消息叫send.py,一个接受消息并打印消息内容叫receive.py。
该图为helloworld例子的原理图:生产者send.py(Productor)把消息(”hello world“)发送到一个名为”queue“的队列中,消费者receive.py从这个队列中获取消息。接下来看代码:
send.py(发送消息)
#!/usr/bin/env python import pika #第一步,连接RabbitMq服务器 rabbit_username=‘xxx‘ rabbit_password=‘xxx‘ credentials = pika.PlainCredentials(rabbit_username, rabbit_password) connection = pika.BlockingConnection(pika.ConnectionParameters( host=‘x.x.x.x‘,credentials=credentials))
#channel是进行消息读写的通道 channel = connection.channel() #第二步,创建一个名为queue的队列,然后把消息发送到这个队列 channel.queue_declare(queue=‘queue‘) #第三步,现在可以发送消息,但是RabbitMQ不能把消息直接发送到队列,要发送到交换器,这个稍后介绍,这里使用默认交换器(exchange),它使用一个空字符串标
#识,routing_key参数必须指定为队列名称,这里为queue
channel.basic_publish(exchange=‘‘, routing_key=‘queue‘, body=‘hello world‘) print "send.py:send message ‘hello world‘,wait for receive.py deal with this message" #退出程序前,通过关闭连接保证消息已经投递到RabbitMq connection.close()
receive.py(获取数据)
print ‘ [*] Waiting for messages. To exit press CTRL+C‘ #!/usr/bin/env python import pika #第一步,同样连接RabbitMq服务器 rabbit_username=‘xxx‘ rabbit_password=‘xxx‘ credentials = pika.PlainCredentials(rabbit_username, rabbit_password) connection = pika.BlockingConnection(pika.ConnectionParameters( host=‘x.x.x.x‘,credentials=credentials)) channel = connection.channel() #为确保队列存在,再次执行queue_declare创建一个队列,我们可以多次运行该命令,但是只要一个队列会创建 #因为不能保证send.py先执行还是receive.py先执行,所以重复声明队列来确保其存在 channel.queue_declare(queue=‘hellolxy‘) #第三步,定义一个回调函数,当获得消息时,Pika库调用这个回调函数来处理消息,该回调函数将消息内容打印到屏幕 def callback(ch, method, properties, body): print "receive.py: Received message %r" % (body,) #第四步,告诉rabbbitMq回调函数将从queue队列接收消息 channel.basic_consume(callback, queue=‘queue‘, no_ack=True) #第五步,输入一个无限循环来等待消息数据并运行回调函数 print ‘ [*] Waiting for messages. To exit press CTRL+C‘ channel.start_consuming()
现在在终端运行程序。首先,用send.py发送一条消息:
$ python send.py send.py:send message ‘hello world‘,wait for receive.py deal with this message
生产者(producer)程序send.py每次运行后就会停止。现在运行receive.py来接收消息:
$ python receive.py receive.py: Received message ‘hello world‘ [*] Waiting for messages. To exit press CTRL+C
成功了!现在已经通过RabbitMQ发送了第一条消息。但是receive.py程序并没有退出,它一直在准备获取消息,可以通过ctrl-c来中断它。
总结一下发送接收消息的过程:
通过上面例子对RabbitMQ有一个感性认识后,现在来介绍RabbitMQ中的基本概念。
Broker:消息队列服务器实体
消息:每个消息都有一个路由键(routing key)的属性。就是一个简单的字符串。
connection:应用程序与broker的网络连接。
channel:几乎所有的操作都在channel中进行,channel是进行消息读写的通道。客户端可建立多个channel,每个channel代表一个会话任务。
交换机:接收消息,根据路由键转发消息到绑定的队列。
绑定:一个绑定就是基于路由键将交换机和队列连接起来的路由规则,所以交换机不过就是一个由绑定构成的路由表。
举例:一个具有路由键“key1”的消息要发送到两个队列,queueA和queueB。要做到这点就要建立两个绑定,每个绑定连接一个交换机和一个队列。两者都是由路由键“key1”触发,这种情况,交换机会复制一份消息并把它们分别发送到两个队列中。
队列:消息的容器,也是消息的终点。一个消息可投入一个或多个队列。消息一直在队列里面,等待消费者连接到这个队列将其取走。
交换机用来接收消息,转发消息到绑定的队列,是rabbitMq中的核心。
交换机共有4种类型:direct,topic,headers和fanout。
为什么不创建一种交换机来处理所有类型的路由规则?因为每种规则匹配时的CPU开销是不同的,所以根据不同需求选择合适交换机。
举例:一个"topic"类型的交换机会将消息的路由键与类似“dog.*”的模式进行匹配。一个“direct”类型的交换机会将路由键与“dogs”进行比较。匹配末端通配符比直接比较消耗更多的cpu,所以如果用不到“topic”类型交换机带来的灵活性,就通过“direct”类型交换机获得更高的处理效率。
routingKey与队列名完全匹配,如果一个队列绑定到交换机要求路由键为“dog”,则只转发routingkey标记为dog的消息,不会转发dog.puppy,也不会转发dog.guard等。
Topic类型交换机通过模式匹配分配消息的routing-key属性。将路由键和某个模式进行匹配,此时队列需要绑定到一个模式上。
它将routing-key和binding-key的字符串切分成单词。这些单词之间用点隔开。它同样也会识别两个通配符:符号“#”和符号“*”。#匹配0个或多个单词,*匹配不多不少一个单词。
例如,binding key:*.stock.#匹配routing key: usd.stock和eur.stock.db,但是不匹配stock.nana。
例如,“audit.#”能够匹配到“audit.irs.corporate”,但是“audit.*”只会匹配到“audit.irs”。
fanout交换机不处理路由键,简单的将队列绑定到交换机上,每个发送到交换机的消息都会被转发到与该交换机绑定的所有队列上。
很像子网广播,每台子网内的主机都获得了一份复制的消息。Fanout交换机转发消息是最快的。
深入了解可参考:
官网教程
上面两篇是翻译成中文的,剩下的都没有翻译,可参考英文版
python采用pika库使用rabbitmq总结,多篇笔记和示例
标签:
原文地址:http://www.cnblogs.com/starof/p/4173413.html