OpenFastPath（2）：原生态Linux Socket应用如何移植到OpenFastPath上?

时间：2019-02-04 19:32:40 阅读：309 评论：0 收藏：0 [点我收藏+]

标签：基础知识 art const soc flv live 发送 ane global

版本信息：

ODP(Open Data Plane): 1.19.0.2

OFP(Open Fast Path): 3.0.0

1、存在的问题

OpenFastPath作为一个开源的用户态TCP/IP协议栈，其对用户提供的Socket API，无论是宏定义、数据结构还是函数，均以OFP_开头。如下图所示：

 1 int    ofp_socket(int, int, int);
 2 int    ofp_socket_vrf(int, int, int, int);
 3 int    ofp_accept(int, struct ofp_sockaddr *, ofp_socklen_t *);
 4 int    ofp_bind(int, const struct ofp_sockaddr *, ofp_socklen_t);
 5 int    ofp_connect(int, const struct ofp_sockaddr *, ofp_socklen_t);
 6 int    ofp_listen(int, int);
 7 int    ofp_shutdown(int, int);
 8 int    ofp_close(int);
 9 
10 struct ofp_timeval {
11     uint32_t tv_sec;     /* seconds */
12     uint32_t tv_usec;    /* microseconds */
13 };
14 
15 /*
16  * Option flags per-socket, kept in so_options.
17  */
18 #define    OFP_SO_DEBUG        0x00000001    /* turn on debugging info recording */
19 #define    OFP_SO_ACCEPTCONN    0x00000002    /* socket has had listen() */
20 #define    OFP_SO_REUSEADDR    0x00000004    /* allow local address reuse */
21 #define    OFP_SO_KEEPALIVE    0x00000008    /* keep connections alive */
22 #define    OFP_SO_DONTROUTE    0x00000010    /* just use interface addresses */

这样子的实现，会带来一个问题：即用户之前编写的基于Linux Socket的应用程序（比如用户基于Linux Socket编写的WebServer），如果想移植到OFP上，由于上述符号的差异，将需要大量的修改。

如何解决这一问题，是本文讨论的话题。

2、OFP提供的解决方案

OFP提供给用户的example中，已经提供了一种可行的方案。读者在理解OFP提供的方案之前，可以先看两个C语言中的基础知识。

(1)C语言的构造函数

在gcc下可以使用关键字__attribute__((constructor))指定构造函数。这些构造函数由编译器处理，在执行main函数之前，就会执行。构造函数的定义参考如下：

void __attribute__((constructor)) func(void)。func即会在程序执行main函数之前执行。

(2)程序运行时，动态库的搜索先后顺序。

LD_PRELOAD中指定的搜索路径。
LD_LIBRARY_PATH中指定的搜索路径。
配置文件/etc/ld.so.conf中指定的动态库。
默认的动态库搜索路径（/lib, /usr/lib）。

OFP提供的具体方案：

OFP在example中提供了两个库，其中ofp_netwrap_proc.so库用来实现ODP/OFP的配置以及初始化。ofp_netwrap_crt.so库用来实现符号的重载和参数的转换，这些系统调用包括：socket(), close(), shutdown()等。

ofp_netwrap_proc.so是使用构造函数的方法来实现ODP/OFP的配置以及初始化，具体代码参考（example/ofp_netwrap_proc/app_main.c）：

 1 __attribute__((constructor)) static void ofp_netwrap_main_ctor(void)
 2 {
 3     appl_args_t params;
 4     int core_count, ret_val;
 5     odp_cpumask_t cpumask;
 6     char cpumaskstr[64];
 7     odph_odpthread_params_t thr_params;
 8 
 9     memset(&params, 0, sizeof(params));
10     if (parse_env(&params) != EXIT_SUCCESS)
11         return;
12 
13     /*
14      * Before any ODP API functions can be called, we must first init ODP
15      * globals, e.g. availale accelerators or software implementations for
16      * shared memory, threads, pool, qeueus, sheduler, pktio, timer, crypto
17      * and classification.
18      */
19     if (odp_init_global(&netwrap_proc_instance, NULL, NULL)) {
20         printf("Error: ODP global init failed.\n");
21         return;
22     }
23     netwrap_state = NETWRAP_ODP_INIT_GLOBAL;

说明：ofp_netwrap_main_ctor函数为构造函数，此函数会在main之前执行，用来实现ODP/OFP初始化及线程创建（包括命令行线程）。OFP运行时需要指定的参数（比如-i eth0)则是通过环境变量传入的，环境变量名为OFP_NETWRAP_ENV。

ofp_netwrap_crt.so库重写了socket的系统调用，我们可以通过一个例子来分析一下(example/ofp_netwrap_crt/netwrap_socket.c)。

 1 int close(int sockfd)
 2 {
 3     int close_value;
 4 
 5     if (IS_OFP_SOCKET(sockfd)) {
 6         close_value = ofp_close(sockfd);
 7         errno = NETWRAP_ERRNO(ofp_errno);
 8     } else if (libc_close)
 9         close_value = (*libc_close)(sockfd);
10     else { /* pre init*/
11         LIBC_FUNCTION(close);
12 
13         if (libc_close)
14             close_value = (*libc_close)(sockfd);
15         else {
16             close_value = -1;
17             errno = EACCES;
18         }
19     }
20 
21     /*printf("Socket ‘%d‘ closed returns:‘%d‘\n",
22         sockfd, close_value);*/
23     return close_value;
24 }

说明：以close()函数为例，ofp_netwrap_crt.so重载了此函数，当判断出是属于OFP创建的socket时，则调用ofp_close()函数；而其他情况下，则调用libc_close指针（则指针可以参考LIBC_FUNCTION宏），是通过dlsym的方法加载到标准的C库socket函数。

ofp_netwrap_crt.so库同样提供了一个构造函数，此构造函数用来预加载所有的socket符号（example/ofp_netwrap_crt/netwrap.c）

 1 __attribute__((constructor)) static void setup_wrappers(void)
 2 {
 3     printf("start to setup netwrap");
 4     sleep(20);            /*  add for test */
 5     
 6     setup_socket_wrappers();
 7     setup_sockopt_wrappers();
 8     setup_ioctl_wrappers();
 9     setup_fork_wrappers();
10     setup_select_wrappers();
11     setup_uio_wrappers();
12     setup_sendfile_wrappers();
13     setup_epoll_wrappers();
14 
15     printf("finish to setup netwrap");
16 }

3、具体例子

1）写一个标准的且简单的TCP服务端程序：

 1 #include<stdio.h>
 2 #include<stdlib.h>
 3 #include<errno.h>
 4 #include<string.h>
 5 #include<sys/types.h>
 6 #include<netinet/in.h>
 7 #include<sys/socket.h>
 8 #include<sys/wait.h>
 9  
10 #define PORT 1500
11 #define BACKLOG 5
12  
13 int main(){
14     int sockfd,new_fd;
15     struct sockaddr_in my_addr;
16     struct sockaddr_in their_addr;
17     int sin_size;
18  
19     sockfd=socket(AF_INET,SOCK_STREAM,0);
20     if(sockfd==-1){
21         printf("socket failed:%d",errno);
22         return -1;
23     }
24     my_addr.sin_family=AF_INET;
25     my_addr.sin_port=htons(PORT);
26     my_addr.sin_addr.s_addr=htonl(INADDR_ANY);
27     bzero(&(my_addr.sin_zero),8);
28     if(bind(sockfd,(struct sockaddr*)&my_addr,sizeof(struct sockaddr))<0){
29         printf("bind error");
30         return -1;
31     }
32     
33     listen(sockfd,BACKLOG);
34     while(1){
35         sin_size=sizeof(struct sockaddr_in);
36         new_fd=accept(sockfd,(struct sockaddr*)&their_addr,&sin_size);
37         if(new_fd==-1){
38             printf("receive failed");
39         } else{
40             printf("receive success");
41             send(new_fd,"Hello World!",12,0);
42         }
43     }
44     return 0;
45 }

说明：此程序是标准的基于linux socket的TCP服务端程序，程序的功能是当TCP建链成功后，向客户端发送hello world！将此程序直接编译成可执行文件tcpsrv。

2）./configure --prefix=/usr/local --with-odp=/usr/local --with-config-flv=netwrap-webserver --enable-sp=no

说明：原生态Linux Socket应用运行在OFP上时，慢平面（sp)的功能必须disable,另外需要配置netwrap-webserver。然后make clean;make;make install

3）修改ofp提供的配置文件scripts/ofp_netwrap.cli，配置fp0接口的ip地址：ifconfig fp0 192.168.43.2/24

4）修改ofp提供的脚本文件scripts/ofp_netwrap.sh

#!/bin/bash

export ROOT_DIR="$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd )"

export OFP_NETWRAP_ENV_DEFAULT="-i eth0 -f ${ROOT_DIR}/ofp_netwrap.cli"
export OFP_NETWRAP_ENV="${OFP_NETWRAP_ENV:-${OFP_NETWRAP_ENV_DEFAULT}}"

LD_PRELOAD=libofp_netwrap_crt.so.0.0.0:libofp.so.0.0.0:libofp_netwrap_proc.so.0.0.0  $@

其中，第二行是用来指定OFP运行时的网卡和配置文件，根据实际情况修改。最后一行通过LD_PRELOAD导入libofp_netwrap_crt.so和libofp_netwrap_proc.so库。这两个库的入口都是构造函数，前文已经讲过了。

5）运行原生态Linux应用。

./ofp_netwrap.sh ./ofp_netwrap.sh /home/tcp-example/tcpsrv

特别说明：之前运行时，程序一直coredump时，后来花了较多时间调试，发现是odp/ofp初始化时，需要调用linux socket创建的socket多达40多个，但当配置--with-config-flv=netwrap-webserver时，分配给linux创建的socket总数不大于20，而将ofp socket创建的socket id的编号分配从20开始。所以，odp/ofp初始化时编号20以后的socket将使用ofp_socket创建，这会导致问题。

解决方案：OFP_SOCK_NUM_OFFSET的值从20修改为60。

/**Socket handle values returned are in the interval:
 * [OFP_SOCK_NUM_OFFSET, OFP_SOCK_NUM_OFFSET + OFP_NUM_SOCKETS_MAX] */
#if defined(OFP_CONFIG_WEBSERVER)
/**Maximum number of sockets. */
# define OFP_NUM_SOCKETS_MAX 60000
/**First socket number value. */
# define OFP_SOCK_NUM_OFFSET 1024

/**Maximum number of TCP PCBs. */
# define OFP_NUM_PCB_TCP_MAX 60000

# define OFP_TCP_MAX_CONNECTION_RATE

#elif defined(OFP_CONFIG_NETWRAP_WEBSERVER)
/**Maximum number of sockets. */
# define OFP_NUM_SOCKETS_MAX 1000
/**First socket number value. */
# define OFP_SOCK_NUM_OFFSET 60  /*  modify form 20 to 60 */
/**Maximum number of TCP PCBs. */
# define OFP_NUM_PCB_TCP_MAX 65534
# define OFP_TCP_MAX_CONNECTION_RATE

#else /*OFP_CONFIG_DEFAULT*/
/**Maximum number of sockets. */
# define OFP_NUM_SOCKETS_MAX 1024
/**First socket number value. */
# define OFP_SOCK_NUM_OFFSET 1024

/**Maximum number of TCP PCBs. */
# define OFP_NUM_PCB_TCP_MAX 2048
#endif /* OFP_CONFIGS*/

configure时，配置了--with-config-flv=netwrap-webserver选项，OFP_CONFIG_NETWRAP_WEBSERVER宏将被定义。