Mosquito的优化——epoll优化（七）

本文由逍遥子撰写，转发请标注原址：

http://blog.csdn.net/houjixin/article/details/46413583

或

http://houjixin.blog.163.com/blog/static/3562841020155835146428/#

原版的mosquito在移动互联网情况下，其性能不高。实际运营时一个mosquito实例能支持2万连接就不错了。mosquitto在网络状态不好的情况下，随着用户量的上升，其对cpu消耗将大幅添加，基本的CPU主要消耗在下面几个方面：

（1）Poll机制的缺陷。

（2）Mosquitto内部订阅树机制的缺陷；

（3）其它消息发送，数据结构管理方面的缺陷；

本节将针对这些缺陷提出对应的优化策略和方法。

7.1、poll优化

7.1.1、优化原因

        在mosquitto原始程序中，核心处理流程是对全部的socket进行监听处理。该部分功能主要使用poll来完毕，可是它的效率较差，尤其当在线活动用户较少的情况下，性能更差，这一定程序上影响了mosquitto性能，epoll效率的低下主要是因为以下3个原因：

       1）  poll在每次监听port之前，都须要又一次注冊全部须要监听的socket；

       2）  poll返回的结果中，仅仅会改动有事件发生的socket相应的poll结构体，因此，在使用时须要对全部注冊的socket相应的poll结构体进行扫描，才干推断出那些socket有事件发生。

       3）  在内部实现上，poll须要查询全部注冊的socket以确定其是否有事件发生。

Poll的上述问题是是其自身实现方式造成的，非常难进行优化。针对poll的这些问题，linux实现了一个更高效的实现方式：epoll，相对而言。epoll则不须要poll这些复杂操作，epoll具有下面3个长处：

       1）  epoll中，仅仅须要将被监听的socket注冊进epoll一次。兴许epoll就会监听它，而不须要每次监听之前又一次注冊。

       2）  epoll返回结果包括了全部有事件发生的socket，因此处理过程中，扫描全部这些有事件发生的socket就可以，而不须要扫描全部注冊的socket。

       3）  在内部实现上，epoll不需查询全部注冊的socket，它内部是：全部有事件发生的socket自己将自己挂载epoll的就绪队列上，epoll仅仅需返回就绪队列中的socket就可以。

        因此，本次优化首先选择对poll进行优化。主要使用epoll替换poll，以提升系统的运行效率。

7.1.2、优化方案：

        Mosquitto中对poll的使用主要集中在文件loop.c的在函数mosquitto_main_loop中，因此本次改动将使用一个新的函数epoll_mosquitto_main_loop来取代它。另外，在用法上，epoll的监听函数epoll_wait返回全部就绪socket，而mosquitto程序中须要知道socket相应的conetxt才干完毕业务处理，因此，为了支持epoll，须要添加一个hash表t_fd2context来完毕socket到其相应conetxt的映射。

        Mosquito的核心处理逻辑主要在函数mosquitto_main_loop中，该函数主要完毕了下面功能：

       1）  更新系统topic的信息。

       2）  将全部监听socket放入poll结构体pollfds中。

       3）  扫描全部context，完毕下列工作：

               假设context有消息发送，则将消息依照mqtt协议发送出去；

                检查context是否超时；

              将context的socket放入poll的结构体pollfds中。

       4）  扫描全部conetxt，假设context中有消息，则更新消息的时间戳。

       5）  调用poll。轮询poll的结构体pollfds全部的socket；

       6）  处理poll的结果，需完毕以下两个工作：

                扫描全部的context，查看其相应的socket是否有事件发生，假设有，则进行读写处理。

               处理全部的监听socket，假设有新的连接进入。则为之创建相应的context

       7）  进行又一次载入配置文件等可选择操作。

       在poll的工作过程中。上述操作将会循环运行，使用epoll优化之后的mosquitto的核心流程将会有所改变，为：

       1）  向epoll中注冊监听port。该步骤在循环之前运行；以下2）之后的步骤将会放入循环运行。

       2）  更新系统topic的信息。

       3）  依据策略扫描所有context。完毕以下两个工作：

               回收context，并将该context的索引放入空暇索引数组中；

              检查超时，假设超时，则将该context与其socket的映射从hash表t_fd2context中删除。

       4）  调用epoll的epoll_wait函数获取全部的就绪socket；

       5）  对全部的就绪socket进行处理，主要完毕以下的工作：

             假设就绪的socket是监听接口，则对监听接口进行处理。为每一个新进来的业务socket建立context，并将其注冊进epoll；

             假设不是监听socket，则从socket到cotext的hash表t_fd2context中找到该socket相应的context。然后完毕相应的处理，假设找不到。则断开此socket的连接。

       6）  进行又一次载入配置文件等可选择操作。

因为epoll和poll的工作方式不同，因此须要对上述流程进行改动以使其能适应epoll的要求，主要改动之处包含：

       1）  Socket注冊方式；poll中每次循环都须要将socket又一次注冊入poll。而epoll仅仅须要開始注冊一次就可以；

       2）  返回结果处理。poll中须要对所有注冊的socket结构体进行扫描，才干推断某个socket是否有数据处理；epoll直接返回就绪socket，因此无需所有遍历注冊的socket结构体。

       3）  添加socket到相应context的映射，因为epoll直接返回就绪socket，而mosquitto中须要找到该socket相应的context才干进行上层应用的处理，因此须要添加一个hash表完毕socket到context的映射。

       4）  改动消息发送部分的功能

7.1.3、详细实现

       Epoll的优化也採用原来的单线程结构，并使用一个大循环“while”完毕对任务的处理，该大循环被放在函数epoll_mosquitto_main_loop中，该函数与函数mosquitto_main_loop（该函数是使用poll时的主要业务处理）的參数全然同样，并在函数mosquitto_main_loop中调用epoll_mosquitto_main_loop。因此程序中原来调用poll的主业务处理函数mosquitto_main_loop的地方将会被转向调用epoll的主业务处理函数epoll_mosquitto_main_loop。从而实现对epoll功能的调用，系统的流程例如以下图5-1所看到的。

图7-1 使用epoll之后的系统流程图

1、socket注冊

       epoll在使用时仅仅需将待监控的socket增加一次就可以。这一点与poll在用法上有区别。在mosquitto程序中，须要epoll监控的socket包含监听socket和业务socket；Socket的注冊过程由函数reg_socket完毕，注冊socket的监听类型为EPOLLIN，採用默认的水平触发模式。

       1）  监听socket。此类型socket负责接收client的新连接。比如程序中默认的1883port相应的socket，client将使用该port连接到mosquitto。在函数epoll_mosquitto_main_loop的主循环開始直接之前完毕注冊，仅仅进行一次注冊，兴许不再反复注冊。

       2）  业务socket，该类型socket负责完毕client和mosquitto之间的业务数据的传输；业务socket将在新连接进入时完毕注冊，此过程在函数epoll_loop_handle_result中完毕。

2、Epoll的事件处理

       Epoll事件处理将由函数epoll_loop_handle_result来完毕，在该函数中将循环扫描epoll返回的全部就绪socket。并对每一个就绪的socket进行处理，处理的方式为：

       1）  假设为监听socket，则首先调用mqtt3_socket_accept函数对新连接进来的socket进行处理，处理过程包含：为socket创建相应的context等。其次将socket注冊入epoll。

       2）  假设监听port为业务socket，则读取该结构体上的数据。然后对数据进行处理。

图7-2 epoll事件处理流程