在前面的文章中，我们对ndpi中的example做了源码分析。这一次我们将尽可能深入的了解ndpi内部的结构和运作。我们将带着下面三个目的（问题）去阅读ndpi的源代码。
1、ndpi内部是怎么样注册和维护需要检测的协议呢？
2、ndpi在初始化的过程中，做了怎么样的工作？
3、ndpi在底层的实现中具体又是使用怎样的数据结构？
注：这里限于篇幅，本文章指针对使用中的初始化部分进行源码分析。主体的分析函数和具体的各个协议将在后面的文中陆续介绍。如果有不正确或者理解不到位的地方，欢迎大家一起讨论。
在上文介绍的example（pcapReader）中给了我们一个非常有用的导航。就是setupDetection这个函数，他里面基本包含了我们初始化ndpi所用到的常用函数。在接下来的源码分析中，我们以这个函数为索引。逐步地窥探ndpi的内部。具体如下：
注：二、三中标题的选取只是因为比重关系，上面源码中的宏等我们都将在下面进行介绍
这部分我们将介绍第8行中的初始化函数ndpi_init_detection_module，上方第3行中的定义等都将在第三部分系统地进行介绍。ndpi_init_detection_module的实现是在ndpi_main.c文件中。这个函数的工作并不是维护协议，而是更加底层的参数的初始化。函数结束的时候将返回ndpi_detection_module_struct类型指针。这个类型将贯穿整个初始化过程，提供存放参数的容器以及设置的数据。下面我们将一一进行介绍：
函数原型：
struct ndpi_detection_module_struct *ndpi_init_detection_module(u_int32_t ticks_per_second,
void* (*__ndpi_malloc)(unsigned long size),
void (*__ndpi_free)(void *ptr),
ndpi_debug_function_ptr ndpi_debug_printf)
1、内存管理函数的初始化
_ndpi_malloc = __ndpi_malloc;
_ndpi_free = __ndpi_free;
这里的__ndpi_malloc和__ndpi_free就是我们自己定义的函数，而这里等号左边的_ndpi_malloc和_ndpi_free并不是指变量。这里是一个ndi内部封装好的函数指针。在ndpi_main.c中定义，具体如下：
2、debug函数的初始化
这里使用ndpi_debug_printf函数的有两处地方，第一处就是楼下3步中申请内存时的错误处理。第二处就是在debug函数的传入，跟第1步类似。但是这里的debug信息输出函数并不是在ndpi_main.c中声明，而是在ndpi_detection_module_struct结构内部。结构内部声明了ndpi_debug_printf的函数指针。详细见源代码，这里不再列出。
3、ndpi_detection_module_struct指针的创建和初始化
这里其实就是ndpi_detection_module_struct指针的声明和通过malloc的内存申请。这里的ndpi_detection_module_struct将在函数最后return回去。
4、协议映射图的初始化
NDPI_BITMASK_RESET(ndpi_str->detection_bitmask);
这一部分主要是通过宏NDPI_BITMASK_RESET和结构体（ndpi_detection_module_struct）内部的detection_bitmask来共同实现。detection_bitmask其实就是一个u_int32_t的数组，NDPI_BITMASK_RESET则是在ndpi_macros.h头文件中定义用来维护注册协议的宏之一。在底层其实就是通过menset将detection_bitmask数组置0实现。这里正如我们大题目那样，是文章的核心内容。将在第三部分，系统地进行介绍。
5、redis初始化
redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。函数中通过结构体（ndpi_detection_module_struct）的redis变量进行了简单的初始化（ ndpi_str->redis
= NULL;）。这里不作详细介绍，这一部分定义在ndpi_credis.h和ndpi_credis.c中。
6、协议timeout值的初始化
在本函数中，用了比较大的篇幅进行timeout的初始化。这里其实没什么好解释的，各个应用层软件的timeout值。
7、AC算法的初始化
AC算法是指Aho-corasick自动机算法。包含在ndpi_main.h的头文件#include<ahocorasick.h>中，其实在ndpi中对ahocorasick在ahocorasick.c中进行了封装和实现。回归到这里，主要是通过ac_automata_init函数进行初始化。这里的初始化也不涉及算法本身，只是创建并初始化结构体AC_AUTIMATA_T并传递回结构体（ndpi_detection_module_struct）。
8、Lru内存管理的初始化
ndpi_init_lru_cache(&ndpi_str->skypeCache, 4096);
这里又是一个深深的坑，内存管理。但是单单ndpi_init_lru_cache实现的功能也不是很复杂，大家可以去看看。在ndpi_cache.c中进行实现。
9、多线程的初始化
10、默认端口的初始化
ndpi_init_protocol_defaults(ndpi_str);
这里ndpi_str是我们前几步初始化过后的结构体（ndpi_detection_module_struct）。ndpi_init_protocol_defaults函数的主要作用是维护一个二叉树型结构，用来记录各个协议的默认端口。这个函数里面的重复性比较高，我们粘一段比较有代表性的程序段来一起解释一下：
注：上面（10）所述函数均在ndpi_main.h中进行实现
在讲这个函数之前，我们先介绍一下这个函数所用到的参数是什么来历。也就是前面的宏定义和变量。
1、NDPI_PROTOCOL_BITMASKall
其实第一次看到这个语句的时候，第一反应还以是一个宏定义。但是其实这里NDPI_PROTOCOL_BITMASK代表的是一个变量类型，而all则是一个定义处理的实例（变量）。详细的定义在ndpi_macros.h中，如下：
看完上面的定义，不难发现NDPI_PROTOCOL_BITMASK类型说白了就是一个u_int32_t的数组。我们在继续看看数组的大小NDPI_NUM_FDS_BITS又是怎么计算出来：
这里提出了一系列疑问？为什么要(((x)+((y)-1))/(y))？还有这样定义的目的是什么？
根据我的理解，这里维护协议映射的数据结构是上面提到的ndpi_protocol_bitmask_struct（u_int32_t的数组）。对于数组的每一个位置比如fds_bits[1]，这u_int32_t一共有4字节。也就事32位，每位代表这一个协议的映射。这一点不仅可以从上面的定义看出，在接下来的第2部分将更明显地可以看到这是一个类似hash的映射结构。然后回到为什么要(((x)+((y)-1))/(y))的问题，这里的y其实就是32，所以这里这样计算数组是为了得出一个恰好满足能存放协议映射的数组大小（当然数组的位数不是全部应用与映射，毕竟会有一点空间的浪费）
2、NDPI_BITMASK_SET_ALL(all)
这个宏的主要作用很显而易见，就是把映射中所以的应用都进行设置。但是这只是比较表面的理解。在ndpi_macros.h中，ndpi提供了非常健全的映射设置函数。如下：
注：那我们使用时如果只想注册个别应用的检测该怎么办？可以通过NDPI_BITMASK_ADD宏进行添加，协议对应的hash数在ndpi_protocols_osdpi.h中进行了定义。这里限于篇幅不再列出。
3、ndpi_set_protocol_detection_bitmask2(ndpi_struct,&all)
这个可以说是检测协议注册的核心函数。和第2部分中的10一样，这里的重复率也是比较高的。但是参杂着一些协议之间的依赖关系，所以我们下面列一个典型的代码段。一起看看它究竟完成的是什么工作。
到这里为止，初始化的分析基本已经完成了。
转载请著明：http://blog.csdn.net/grublinux/article/details/37670619
另外本篇博文的子妹篇pcapReader——源码分析很荣幸的参加了博客大赛，如果您觉得对您有帮助，请支持我吧，投票地址：http://vote.
协议的注册与维护——ndpi源码分析,布布扣,bubuko.com
原文地址：http://blog.csdn.net/grublinux/article/details/37670619
