nginx memcached模块解析

标签：linux   nginx   memcached   

memcached模块的配置主要是pass_proxy关键字，其相关处理函数是ngx_http_memcached_pass，其中处理流程包括建立upstream对应的数据结构等，但最重要的是下面这句 ：

clcf->handler = ngx_http_memcached_handler;
 ngx_http_memcached_handler;回调函数被注册到了请求包处理11个阶段的content phase阶段，在该阶段会去调用该处理函数。
 那么在该处理函数中又做了什么呢，从代码上看主要是初始化upstream机制所用的各个数据结构，设置upstream机制所调用的各个回调函数，为与上游的memcached服务器做连接做好准备。具体代码解析如下：

  static ngx_int_t
ngx_http_memcached_handler(ngx_http_request_t *r)
{
    ngx_int_t                       rc;
    ngx_http_upstream_t            *u;
    ngx_http_memcached_ctx_t       *ctx;
    ngx_http_memcached_loc_conf_t  *mlcf;

    if (!(r->method & (NGX_HTTP_GET|NGX_HTTP_HEAD))) {
        return NGX_HTTP_NOT_ALLOWED;
    }
	//丢弃请求包体，对请求包体并不关心
    rc = ngx_http_discard_request_body(r);

    if (rc != NGX_OK) {
        return rc;
    }

    if (ngx_http_set_content_type(r) != NGX_OK) {
        return NGX_HTTP_INTERNAL_SERVER_ERROR;
    }
	//创建upstream数据结构
    if (ngx_http_upstream_create(r) != NGX_OK) {
        return NGX_HTTP_INTERNAL_SERVER_ERROR;
    }

    u = r->upstream;

    ngx_str_set(&u->schema, "memcached://");
    u->output.tag = (ngx_buf_tag_t) &ngx_http_memcached_module;

    mlcf = ngx_http_get_module_loc_conf(r, ngx_http_memcached_module);

    u->conf = &mlcf->upstream;
    //下面是设置upstream使用到的各个回调函数
	//该回调函数创建了相关的get请求，该get请求将发往上游服务器
    u->create_request = ngx_http_memcached_create_request;
    u->reinit_request = ngx_http_memcached_reinit_request;
	//处理memcache服务器回传的回应报文头，计算其头部，计算回应报文
	//数据长度
    u->process_header = ngx_http_memcached_process_header;
    u->abort_request = ngx_http_memcached_abort_request;
    u->finalize_request = ngx_http_memcached_finalize_request;

    ctx = ngx_palloc(r->pool, sizeof(ngx_http_memcached_ctx_t));
    if (ctx == NULL) {
        return NGX_HTTP_INTERNAL_SERVER_ERROR;
    }
	//ctx->rest的初始化在这里，该rest使用的场景是在一次接收中，
	//已经接收到了\r\nEND\r\n的一部分，但未接收完全，用来记录
	//剩下尚未接收的部分
    ctx->rest = NGX_HTTP_MEMCACHED_END;
    ctx->request = r;

    ngx_http_set_ctx(r, ctx, ngx_http_memcached_module);

    u->input_filter_init = ngx_http_memcached_filter_init;
	//该函数用来处理响应包体，把包体buf挂入request的out链表上
    u->input_filter = ngx_http_memcached_filter;
    u->input_filter_ctx = ctx;

    r->main->count++;
	//发起对上游memcached服务器的连接
    ngx_http_upstream_init(r);

    return NGX_DONE;
}

1ngx_http_memcached_create_request：
该函数主要是构建发往memcached服务器的报文，报文格式：
	GET URI \r\n
static ngx_int_t
ngx_http_memcached_create_request(ngx_http_request_t *r)
{
    size_t                          len;
    uintptr_t                       escape;
    ngx_buf_t                      *b;
    ngx_chain_t                    *cl;
    ngx_http_memcached_ctx_t       *ctx;
    ngx_http_variable_value_t      *vv;
    ngx_http_memcached_loc_conf_t  *mlcf;

    mlcf = ngx_http_get_module_loc_conf(r, ngx_http_memcached_module);

    vv = ngx_http_get_indexed_variable(r, mlcf->index);

    if (vv == NULL || vv->not_found || vv->len == 0) {
       
        return NGX_ERROR;
    }

    escape = 2 * ngx_escape_uri(NULL, vv->data, vv->len, NGX_ESCAPE_MEMCACHED);
    //计算发给memcached服务器的请求的报文长度
    len = sizeof("get ") - 1 + vv->len + escape + sizeof(CRLF) - 1;
	//分配相关buf,chain，用来将数据报文写入到里面
    b = ngx_create_temp_buf(r->pool, len);
    if (b == NULL) {
        return NGX_ERROR;
    }

    cl = ngx_alloc_chain_link(r->pool);
    if (cl == NULL) {
        return NGX_ERROR;
    }

    cl->buf = b;
    cl->next = NULL;

    r->upstream->request_bufs = cl;
	//写入get 关键字
    *b->last++ = 'g'; *b->last++ = 'e'; *b->last++ = 't'; *b->last++ = ' ';

    ctx = ngx_http_get_module_ctx(r, ngx_http_memcached_module);

    ctx->key.data = b->last;
	//写入url
    if (escape == 0) {
        b->last = ngx_copy(b->last, vv->data, vv->len);

    } else {
        b->last = (u_char *) ngx_escape_uri(b->last, vv->data, vv->len,
                                            NGX_ESCAPE_MEMCACHED);
    }

    ctx->key.len = b->last - ctx->key.data;

    
	//设置报文结束标志\r\n
    *b->last++ = CR; *b->last++ = LF;

    return NGX_OK;
}
    
2 ngx_http_memcached_process_header
static ngx_int_t
ngx_http_memcached_process_header(ngx_http_request_t *r)
{
    u_char                    *p, *len;
    ngx_str_t                  line;
    ngx_http_upstream_t       *u;
    ngx_http_memcached_ctx_t  *ctx;

    u = r->upstream;

    for (p = u->buffer.pos; p < u->buffer.last; p++) {
        if (*p == LF) {
            goto found;
        }
    }

    return NGX_AGAIN;

found:

    *p = '\0';

    line.len = p - u->buffer.pos - 1;
    line.data = u->buffer.pos;

    p = u->buffer.pos;

    ctx = ngx_http_get_module_ctx(r, ngx_http_memcached_module);
	//报文头返回VALUE关键字，表明memcached服务器中有相关数据内容
    if (ngx_strncmp(p, "VALUE ", sizeof("VALUE ") - 1) == 0) {
        p += sizeof("VALUE ") - 1;
        if (ngx_strncmp(p, ctx->key.data, ctx->key.len) != 0) {
            return NGX_HTTP_UPSTREAM_INVALID_HEADER;
        }
        p += ctx->key.len;

        if (*p++ != ' ') {
            goto no_valid;
        }

        /* skip flags */

        while (*p) {
            if (*p++ == ' ') {
                goto length;
            }
        }

        goto no_valid;

    length:

        len = p;

        while (*p && *p++ != CR) { /* void */ }
		//计算出相应报文的长度
        r->headers_out.content_length_n = ngx_atoof(len, p - len - 1);
        if (r->headers_out.content_length_n == -1) {
            
            return NGX_HTTP_UPSTREAM_INVALID_HEADER;
        }

        u->headers_in.status_n = 200;
        u->state->status = 200;
        u->buffer.pos = p + 1;

        return NGX_OK;
    }
	//当返回END\x0d时，表明memcached服务器中没有该内容
    if (ngx_strcmp(p, "END\x0d") == 0) {
        u->headers_in.status_n = 404;
        u->state->status = 404;

        return NGX_OK;
    }

no_valid:

    return NGX_HTTP_UPSTREAM_INVALID_HEADER;
}

3 ngx_http_memcached_filter
 static ngx_int_t
ngx_http_memcached_filter(void *data, ssize_t bytes)
{
    ngx_http_memcached_ctx_t  *ctx = data;

    u_char               *last;
    ngx_buf_t            *b;
    ngx_chain_t          *cl, **ll;
    ngx_http_upstream_t  *u;

    u = ctx->request->upstream;
    b = &u->buffer;
	//该分支意味着有部分的ngx_http_memcached_end在上次尚未接收
	//完毕，在此次进行接收
    if (u->length == ctx->rest) {
		
        if (ngx_strncmp(b->last,
                   ngx_http_memcached_end + NGX_HTTP_MEMCACHED_END - ctx->rest,
                   bytes)
            != 0)
        {
            u->length = 0;
            ctx->rest = 0;
            return NGX_OK;
        }
        u->length -= bytes;
        ctx->rest -= bytes;

        return NGX_OK;
    }

    for (cl = u->out_bufs, ll = &u->out_bufs; cl; cl = cl->next) {
        ll = &cl->next;
    }

    cl = ngx_chain_get_free_buf(ctx->request->pool, &u->free_bufs);
    if (cl == NULL) {
        return NGX_ERROR;
    }

    cl->buf->flush = 1;
    cl->buf->memory = 1;

    *ll = cl;
	//b是upstream当前用来接收数据的buf.
    last = b->last;
	//数据的起始位置为b->last的地址
    cl->buf->pos = last;
	//重新设定b->last的值，以用来接收后续数据时使用
    b->last += bytes;
    cl->buf->last = b->last;
    cl->buf->tag = u->output.tag;
	//在这里应该是没有接收完毕相关数据
    if (bytes <= (ssize_t) (u->length - NGX_HTTP_MEMCACHED_END)) {
        u->length -= bytes;
        return NGX_OK;
    }
	
	//找到\r\nEND\r\n的起始位置
    last += u->length - NGX_HTTP_MEMCACHED_END;
	//比较一下接收到的数据是否结尾
    if (ngx_strncmp(last, ngx_http_memcached_end, b->last - last) != 0) {
        ngx_log_error(NGX_LOG_ERR, ctx->request->connection->log, 0,
                      "memcached sent invalid trailer");
    }
	//到此应该表示数据已经接收完毕，当然有可能有部分
	//ngx_http_memcached_end数据尚未接收完毕
	//ctx->rest里面记录了尚未被接收完全数据，进行调整
    ctx->rest -= b->last - last;
	//重新更新一下下次接收数据用到的地址，这也表示结束
	//符不用传递到下游客户端
    b->last = last;
    cl->buf->last = last;
    u->length = ctx->rest;

    return NGX_OK;
}

nginx memcached模块解析

标签：linux   nginx   memcached   

原文地址：http://blog.csdn.net/wenwuge_topsec/article/details/39294381