美文网首页PHP是世界上最好的语言
[原]PHP -yar拓展源码解读一-序/packager篇

[原]PHP -yar拓展源码解读一-序/packager篇

作者: bromine | 来源:发表于2018-08-26 12:40 被阅读0次

    Yar是鸟哥惠新宸写的一款并行RPC框架,是国内PHP圈内主流的RPC方案选择,也是笔者公司服务化体系中的基础组件。为了更深入的理解其实现原理和熟悉该工具,抽空刷了遍源码。整体来说阅读难度不高<del>,比看公司的legency代码舒服</del>。

    研究之初是想写个yar的swoole协程客户端收尾的,但是随着swoole4.1直接推出了Stream Hook,现在只能写一下源码分析了。话说起来这也是第二次为鸟哥的项目写源码分析了。读完这个系列你应该也能对yar的底层能有一个非常清晰的理解了。

    出于模块化的职业病拆成8章博客:

    1. PHP-yar拓展源码解读-packager篇
    2. PHP-yar拓展源码解读-protocol篇
    3. PHP-yar拓展源码解读-request/response篇
    4. PHP-yar拓展源码解读-client篇
    5. PHP-yar拓展源码解读-server篇
    6. PHP-yar拓展源码解读-transport篇
    7. PHP-yar拓展源码解读-concurrent_client篇

    前三个章节讲Yar的协议和核心数据结构。
    第四五七章讲Yar PHP客户端和服务端的实现。
    第六七章主要讲Yar网络传输的实现细节。
    各个章节有一定依赖,篇幅也按顺序增长,建议按序阅读。
    另外为控制篇幅,本系列中引用源码会有少量删减,特别一些非重要的条件编译编译分支,要研究某个功能的特定细节,建议另外直接翻源码。

    打包器

    //yar_packager.h
    typedef struct _yar_packager {
        const char *name;
        int  (*pack) (const struct _yar_packager *self, zval *pzval, smart_str *buf, char **msg);
        zval * (*unpack) (const struct _yar_packager *self, char *content, size_t len, char **msg, zval *rret);
    } yar_packager_t;
    

    底层使用yar_packager_t表示一个打包器。打包器负责将一个IMP数组(Request章节中会提到)或的ISRPE数组(Resonse章节中会提到)进行序列化生成请求和响应报文中载荷数据。

    一个yar_packager_t变量包含三个成员,name表示打包器的名字,目前支持的三种打包方式对的name分别为MSGPACKJSONPHP,
    pack()unpack()分别为相关打包器的序列化和反序列化句柄。
    这是一种典型的OO风格的C写法,用结构体和函数指针模拟抽象和多态。

    打包器的注册和获取

    //yar_packager.c
    struct _yar_packagers_list {
        unsigned int size;
        unsigned int num;
        const yar_packager_t **packagers;
    } yar_packagers_list;
    PHP_YAR_API const yar_packager_t * php_yar_packager_get(char *name, int nlen) /* {{{ */ {
        int i = 0;
        for (;i<yar_packagers_list.num;i++) {
            if (strncasecmp(yar_packagers_list.packagers[i]->name, name, nlen) == 0) {
                return yar_packagers_list.packagers[i];
            }
        }
    
        return NULL;
    } /* }}} */
    
    PHP_YAR_API int php_yar_packager_register(const yar_packager_t *packager) /* {{{ */ {
    
        if (!yar_packagers_list.size) {
           yar_packagers_list.size = 5;
           yar_packagers_list.packagers = (const yar_packager_t **)malloc(sizeof(yar_packager_t *) * yar_packagers_list.size);
        } else if (yar_packagers_list.num == yar_packagers_list.size) {
           yar_packagers_list.size += 5;
           yar_packagers_list.packagers = (const yar_packager_t **)realloc(yar_packagers_list.packagers, sizeof(yar_packager_t *) * yar_packagers_list.size);
        }
        yar_packagers_list.packagers[yar_packagers_list.num] = packager;
    
        return yar_packagers_list.num++;
    } /* }}} */
    
    

    yar_packagers_list作为list储存管理多个yar_packager_t,注册和获取时均需要时遍历该list获取yar_packagers_list->packagers。list实现简单,而且成员反正就3个,所以O(n)也不会有任何问题,transport模块也是同样的使用list实现注册和获取。

    //yar_packager.c
    zend_string *php_yar_packager_pack(char *packager_name, zval *pzval, char **msg) /* {{{ */ {
        char header[8];
        smart_str buf = {0};
        const yar_packager_t *packager = packager_name ?
            php_yar_packager_get(packager_name, strlen(packager_name)) : YAR_G(packager);
    
        if (!packager) {
            php_error_docref(NULL, E_ERROR, "unsupported packager %s", packager_name);
            return 0;
        }
        memcpy(header, packager->name, 8);
        smart_str_alloc(&buf, YAR_PACKAGER_BUFFER_SIZE /* 1M */, 0);
        smart_str_appendl(&buf, header, 8);
        packager->pack(packager, pzval, &buf, msg); 
    
        if (buf.s) {
            smart_str_0(&buf);
            return buf.s;
        }
    
        smart_str_free(&buf);
    
        return NULL;
    } /* }}} */
    
    

    序列化字符串前8个字符固定用于表示packager的类型,\0表示字符串末尾,中间的字符串由具体的packager对变量进行处理生成。

    打包器类型

    如前问所述,packager目前的实现有3种:

    1. MSGPACK
    2. PHP
    3. JSON

    php

    // packager\php.c
    int php_yar_packager_php_pack(const yar_packager_t *self, zval *pzval, smart_str *buf, char **msg) /* {{{ */ {
        php_serialize_data_t var_hash;
    
        PHP_VAR_SERIALIZE_INIT(var_hash);
        php_var_serialize(buf, pzval, &var_hash);
        PHP_VAR_SERIALIZE_DESTROY(var_hash);
    
        return 1;
    } /* }}} */
    
    zval * php_yar_packager_php_unpack(const yar_packager_t *self, char *content, size_t len, char **msg, zval *rret) /* {{{ */ {
        zval *return_value;
        const unsigned char *p;
        php_unserialize_data_t var_hash;
        p = (const unsigned char*)content;
    
        PHP_VAR_UNSERIALIZE_INIT(var_hash);
        if (!php_var_unserialize(rret, &p, p + len,  &var_hash)) {
            zval_ptr_dtor(rret);
            PHP_VAR_UNSERIALIZE_DESTROY(var_hash);
            spprintf(msg, 0, "unpack error at offset %ld of %ld bytes", (long)((char*)p - content), len);
            return NULL;
        }
        PHP_VAR_UNSERIALIZE_DESTROY(var_hash);
    
        return_value = rret;
        return return_value;
    } /* }}} */
    

    该方式实际上就是就是我们平常使用的serialize(),unserialize函数。

    json

    //packager\json.c
    int php_yar_packager_json_pack(const yar_packager_t *self, zval *pzval, smart_str *buf, char **msg) /* {{{ */ {
    #if ((PHP_MAJOR_VERSION == 5) && (PHP_MINOR_VERSION < 3))
        php_json_encode(buf, pzval);
    #else
        php_json_encode(buf, pzval, 0); /* options */
    #endif
    
        return 1;
    } /* }}} */
    
    zval * php_yar_packager_json_unpack(const yar_packager_t *self, char *content, size_t len, char **msg, zval *rret) /* {{{ */ {
        zval *return_value;
    
        php_json_decode(rret, content, len, 1, 512);
    
        return_value = rret;
        return return_value;
    } /* }}} */
    

    json方式使用json拓展的json_encode()json_decode()对变量进行序列化操作

    msgpack

    //packager\msgpack.c
    int php_yar_packager_msgpack_pack(const yar_packager_t *self, zval *pzval, smart_str *buf, char **msg) /* {{{ */ {
        php_msgpack_serialize(buf, pzval);
        return 1;
    } /* }}} */
    
    zval * php_yar_packager_msgpack_unpack(const yar_packager_t *self, char *content, size_t len, char **msg, zval *rret) /* {{{ */ {
        zval *return_value;
        ZVAL_NULL(rret);
        php_msgpack_unserialize(rret, content, len);
        return_value = rret;
        return return_value;
    } /* }}} */
    

    yar_packager_msgpack使用msgpack拓展的php_msgpack_serialize()php_msgpack_unserialize()函数对变量进行序列化。3种序列化方式中该种传输效率最高,空间使用最小, 使用该方式需要自行安装msgpack-php拓展并在编译yar时候使用--enable-msgpack参数。

    相关文章

      网友评论

        本文标题:[原]PHP -yar拓展源码解读一-序/packager篇

        本文链接:https://www.haomeiwen.com/subject/uwkamftx.html