初试Netlink之unicast

       在之前已经了解了好几种内核态与用户态之间数据的交换方法，但那些方法都是单向的（即单工），其关系是一对一的，而Netlink Socket则是一种用于内核与用户空间之间传递信息的特殊IPC，在用户进程中，其以标准的Socket API为内核和用户之间提供了全双工的通信通道，在内核模块中则提供了一类特殊的API。相比TCP/IP socket所使用的AF_INET地址族，Netlink socket则使用AF_NETLINK地址族，每一个Netlink Socket都在Kernel的include/uapi/linux/netlink.h（linux-3.11.0-rc4，关于Netlink部分相关文档，如无注明均以该版本为基准）中定义了相应的protocol type。

        在Linux  Kernel中，以模块形式去创建Netlink Socket时需要涉及到如下相关的API及数据结构：

        1.创建Socket

           在include/linux/netlink.h文件中，有如下的定义：

/* optional Netlink kernel configuration parameters */
struct netlink_kernel_cfg {
        unsigned int    groups;
        unsigned int    flags;
        void            (*input)(struct sk_buff *skb);
        struct mutex    *cb_mutex;
        void            (*bind)(int group);
        bool            (*compare)(struct net *net, struct sock *sk);
};

extern struct sock *__netlink_kernel_create(struct net *net, int unit,
                struct module *module,
                struct netlink_kernel_cfg *cfg);

static inline struct sock *
netlink_kernel_create(struct net *net, int unit, struct netlink_kernel_cfg *cfg)
{
        return __netlink_kernel_create(net, unit, THIS_MODULE, cfg);
}

           其中，netlink_kernel_create的第一个参数net一般使用&init_net这个全局量；第二个参数unit可使用include/uapi/linux/netlink.h文件中以NETLINK_开头的宏定义，其对应Netlink支持的协议类型，也可以是自定义的类型（可自行添加相应的宏定义，等会的例子里会使用），而cfg对应上面的可选配置参数结构体（等会例子会使用到input，用于接收到数据时的回调处理，其对应的skb为接收到的数据对应的结构体，其他量在后期使用时再说明）。

        2.数据处理

           当上面的socket创建好后，其就会进行监听对应协议的数据，当收到数据时会调用上面的input回调函数，而其参数skb为接收到的struct sk_buff结构体，使用include/linux/netlink.h的如下函数获取struct nlmsghdr结构体指针值：

static inline struct nlmsghdr *nlmsg_hdr(const struct sk_buff *skb)
{
        return (struct nlmsghdr *)skb->data;
}

           而struct nlmsghdr结构体在include/uapi/linux/netlink.h文件中有如下声明：

struct nlmsghdr {
        __u32           nlmsg_len;      /* Length of message including header */
        __u16           nlmsg_type;     /* Message content */
        __u16           nlmsg_flags;    /* Additional flags */
        __u32           nlmsg_seq;      /* Sequence number */
        __u32           nlmsg_pid;      /* Sending process port ID */
};

           通过同一文件的如下宏：

#define NLMSG_ALIGNTO   4U
#define NLMSG_ALIGN(len) ( ((len)+NLMSG_ALIGNTO-1) & ~(NLMSG_ALIGNTO-1) )
#define NLMSG_HDRLEN     ((int) NLMSG_ALIGN(sizeof(struct nlmsghdr)))
#define NLMSG_LENGTH(len) ((len) + NLMSG_HDRLEN)
#define NLMSG_SPACE(len) NLMSG_ALIGN(NLMSG_LENGTH(len))
#define NLMSG_DATA(nlh)  ((void*)(((char*)nlh) + NLMSG_LENGTH(0)))
#define NLMSG_NEXT(nlh,len)      ((len) -= NLMSG_ALIGN((nlh)->nlmsg_len), \
                (struct nlmsghdr*)(((char*)(nlh)) + NLMSG_ALIGN((nlh)->nlmsg_len)))

#define NLMSG_OK(nlh,len) ((len) >= (int)sizeof(struct nlmsghdr) && \
                (nlh)->nlmsg_len >= sizeof(struct nlmsghdr) && \
                (nlh)->nlmsg_len <= (len))

#define NLMSG_PAYLOAD(nlh,len) ((nlh)->nlmsg_len - NLMSG_SPACE((len)))

           我们可以按需获得相应的参数数据，通过NLMSG_DATA宏即可获得接收到的数据内容。上述内容我们可以从获取到的sk_buff提取nlmsghdr后利用NLMSG_DATA宏来获取接收的数据内容，接下来我们看下如何构建要发送的数据和操作：

           通过include/net/netlink.h文件中的如下函数：

static inline struct sk_buff *nlmsg_new(size_t payload, gfp_t flags)
{
        return alloc_skb(nlmsg_total_size(payload), flags);
}

static inline struct nlmsghdr *nlmsg_put(struct sk_buff *skb, u32 portid, u32 seq,
                int type, int payload, int flags)
{
        if (unlikely(skb_tailroom(skb) < nlmsg_total_size(payload)))
                return NULL;

        return __nlmsg_put(skb, portid, seq, type, payload, flags);
}

           来构建要发送的sk_buff和填充相应的nlmsghdr数据，最终使用include/linux/netlink.h中的如下函数：

           extern int netlink_unicast(struct sock *ssk, struct sk_buff *skb, __u32 portid, int nonblock);

           或include/net/netlink.h中的如下函数：

static inline int nlmsg_unicast(struct sock *sk, struct sk_buff *skb, u32 portid)
{
        int err;
        err = netlink_unicast(sk, skb, portid, MSG_DONTWAIT);
        if (err > 0)
                err = 0;

        return err;
}

           进行单播发送数据，在接下来的例子我们调用nlmsg_put时会设置portid为0，该处表示发送进程的端口号（因为是内核，默认设置为0，会与应用层处配置对应），而上面的netlink_unicast的portid为接收进程的端口号（下面的实例会使用传进来的pid），注意这两者的区别。

        上面了解了Kernel部分的操作后，下面了解下用户态应用程序的处理所需：

        1.创建及绑定socket

            使用int socket(int domain, int type, int protocol)函数来创建一个socket，其中domain为AF_NETLINK，type只能为SOCK_RAW或SOCK_DGRAM（因为Netlink是基于数据报的传输，类似UDP），protocol为使用到的Netlink Socket协议（可以是自定义的，在下面例子会使用自定义的）。

           在创建好socket后需要将其绑定bind(fd, (struct sockaddr*)&nladdr, sizeof(nladdr)，其中fd为上面socket的返回值，而nladdr为struct sockaddr_nl结构体类型数据，其在include/uapi/linux/netlink.h文件中有如下声明：

struct sockaddr_nl {
        __kernel_sa_family_t    nl_family;      /* AF_NETLINK   */
        unsigned short  nl_pad;         /* zero         */
        __u32           nl_pid;         /* port ID      */
        __u32           nl_groups;      /* multicast groups mask */
};

           最终会将其转换为sockaddr类型的指针，相应的在include/linux/socket.h文件中有如下声明：

struct sockaddr {
        sa_family_t     sa_family;      /* address family, AF_xxx       */
        char            sa_data[14];    /* 14 bytes of protocol address */
};

        2.数据处理

           在上面创建好socket和绑定好本地信息后，接下来要构建发送给接收端的struct msghdr结构体数据，该结构体在include/linux/socket.h有如下声明：

struct msghdr {
        void    *       msg_name;       /* Socket name                  */
        int             msg_namelen;    /* Length of name               */
        struct iovec *  msg_iov;        /* Data blocks                  */
        __kernel_size_t msg_iovlen;     /* Number of blocks             */
        void    *       msg_control;    /* Per protocol magic (eg BSD file descriptor passing) */
        __kernel_size_t msg_controllen; /* Length of cmsg list */
        unsigned int    msg_flags;
};

           对于该结构体，我们需要填充msg_name和msg_iov，具体在下面实例中可以看到填充什么数据，其中iovec结构体在include/uapi/linux/uio.h文件中有声明：

struct iovec
{
        void __user *iov_base;  /* BSD uses caddr_t (1003.1g requires void *) */
        __kernel_size_t iov_len; /* Must be size_t (1003.1g) */
};

           在构建好数据后，我们使用如下函数进行数据收发：

           ssize_t sendmsg(int sockfd, const struct msghdr *msg, int flags);
           ssize_t recvmsg(int sockfd, struct msghdr *msg, int flags);

        在上述分析后，接下来我们实例感受下通过Netlink Socket进行内核态与用户态之间进行通信的过程：

        对于Kernel部分netlink_unicast.c的源码如下：

#include <linux/init.h>
#include <linux/module.h>
#include <net/sock.h>
#include <net/netlink.h>

#define NETLINK_TEST 25
#define MAX_PAYLOAD_SIZE 1024

struct sock *nl_sk = NULL;

void sendnlmsg(int pid)
{
    struct sk_buff *skb;
    struct nlmsghdr *nlh;
    char msg[30] = "Say hello from kernel!";

    if(!nl_sk){
        return;
    }

    skb = nlmsg_new(MAX_PAYLOAD_SIZE, GFP_KERNEL);
    if(!skb){
        printk(KERN_ERR "nlmsg_new error!\n");
    }

    nlh = nlmsg_put(skb, 0, 0, 0, MAX_PAYLOAD_SIZE, 0);
    memcpy(NLMSG_DATA(nlh), msg, sizeof(msg));
    printk("Send message '%s'.\n",(char *)NLMSG_DATA(nlh));
    netlink_unicast(nl_sk, skb, pid, MSG_DONTWAIT);
}

void nl_data_ready(struct sk_buff *__skb)
{
    struct sk_buff *skb;
    struct nlmsghdr *nlh;
    char str[100];

    skb = skb_get (__skb);
    if(skb->len >= NLMSG_SPACE(0)){
        nlh = nlmsg_hdr(skb);
        memcpy(str, NLMSG_DATA(nlh), sizeof(str));
        printk("Message received:%s\n",str) ;
        sendnlmsg(nlh->nlmsg_pid)；
        kfree_skb(skb);
    }
}

static int netlink_unicast_init(void)
{
    struct netlink_kernel_cfg netlink_kerncfg = {
        .input = nl_data_ready,
    };
    nl_sk = netlink_kernel_create(&init_net, NETLINK_TEST, &netlink_kerncfg);
    if(!nl_sk){
        printk(KERN_ERR "netlink_unicast_init: Create netlink socket error.\n");
        return -1;
    }
    printk("netlink_unicast_init: Create netlink socket ok.\n");
    return 0;
}

static void netlink_unicast_exit(void)
{
    if(nl_sk != NULL){
        sock_release(nl_sk->sk_socket);
    }
    printk("netlink_unicast_exit!\n");
}

module_init(netlink_unicast_init);
module_exit(netlink_unicast_exit);

MODULE_AUTHOR("X-SLAM XINU");
MODULE_LICENSE("GPL");

        相应的Makefile内容如下：

obj-m += netlink_unicast.o

CUR_PATH:=$(shell pwd)
LINUX_KERNEL_PATH:=/home/guochongxin/xinu/linux-stable/

all:
        make -C $(LINUX_KERNEL_PATH) M=$(CUR_PATH) modules

clean:
        make -C $(LINUX_KERNEL_PATH) M=$(CUR_PATH) clean

        而对于用户层应用程序netlink_unicast_app.c文件的源码如下：

#include <stdio.h>
#include <stdlib.h>
#include <errno.h>
#include <string.h>
#include <sys/socket.h>
#include <sys/types.h>
#include <linux/netlink.h>

#define NETLINK_TEST 25
#define MAX_PAYLOAD_SIZE 1024 // maximum payload size

int main(int argc, char* argv[])
{
    int state;
    struct sockaddr_nl src_addr, dest_addr;
    struct nlmsghdr *nlh = NULL;
    struct iovec iov;
    struct msghdr msg;

    int sock_fd, retval;
    int state_smg = 0;

    // Create a socket
    sock_fd = socket(AF_NETLINK, SOCK_RAW, NETLINK_TEST);
    if(sock_fd == -1){
        printf("error getting socket: %s", strerror(errno));
        return -1;
    }

    // To prepare binding
    memset(&msg,0,sizeof(msg));
    memset(&src_addr, 0, sizeof(src_addr));
    src_addr.nl_family = AF_NETLINK;
    src_addr.nl_pid = getpid();
    src_addr.nl_groups = 0;

    retval = bind(sock_fd, (struct sockaddr*)&src_addr, sizeof(src_addr));
    if(retval < 0){
        printf("bind failed: %s", strerror(errno));
        close(sock_fd);
        return -1;
    }

    // To prepare recvmsg
    nlh = (struct nlmsghdr *)malloc(NLMSG_SPACE(MAX_PAYLOAD_SIZE));
    if(!nlh){
        printf("malloc nlmsghdr error!\n");
        close(sock_fd);
        return -1;
    }

    memset(&dest_addr,0,sizeof(dest_addr));
    dest_addr.nl_family = AF_NETLINK;
    dest_addr.nl_pid = 0; /* For Linux Kernel */
    dest_addr.nl_groups = 0; /* Unicast */
    nlh->nlmsg_len = NLMSG_SPACE(MAX_PAYLOAD_SIZE);
    nlh->nlmsg_pid = getpid();
    nlh->nlmsg_flags = 0;

    strcpy(NLMSG_DATA(nlh), "Say hello from user application!");
    iov.iov_base = (void *)nlh;
    iov.iov_len = NLMSG_SPACE(MAX_PAYLOAD_SIZE);
    memset(&msg, 0, sizeof(msg));
    msg.msg_name = (void *)&dest_addr;
    msg.msg_namelen = sizeof(dest_addr);
    msg.msg_iov = &iov;
    msg.msg_iovlen = 1;

    state_smg = sendmsg(sock_fd, &msg, 0);
    if(state_smg == -1){
        printf("get error sendmsg = %s\n",strerror(errno));
    }

    memset(nlh, 0, NLMSG_SPACE(MAX_PAYLOAD_SIZE));
    printf("waiting received!\n");

    // Read message from kernel
    state = recvmsg(sock_fd, &msg, 0);
    if(state < 0){
        printf("recvmsg state < 1");
    }

    printf("Received message: %s\n",(char *) NLMSG_DATA(nlh));
    close(sock_fd);

    return 0;
}

        相应的Makefile文件内容如下：

all:
    gcc -o netlink_unicast_app netlink_unicast_app.c

clean:
    rm -rf *.o netlink_unicast_app

        最终的源码文件目录树如下：

/home/guochongxin/xinu/xinu/linux_kernel_driver_l1/netlink_unicast/
├── kernel_module
│   ├── Makefile
│   └── netlink_unicast.c
└── user_application
├── Makefile
└── netlink_unicast_app.c

        当我们先编译加载内核模块sudo insmod netlink_unicast.ko时，dmesg命令有如下输出：

        netlink_unicast_init: Create netlink socket ok.

        当我们运行应用程序./netlink_unicast_app时，Terminal有如下输出：

waiting received!
Received message: Say hello from kernel!

        而当我们再使用dmesg命令查看时会有如下输出：

Message received:Say hello from user application!
Send message 'Say hello from kernel!'.

        至此，使用Netlink Socket的Unicast方式通信能正常使用了，以后内核态与用户态之间自由交换意见就更容易了，接下来我们会讲到Broadcast等方式的通信，静候更新。

参考网址：

http://www.cnblogs.com/D3Hunter/p/3207670.html
http://blog.csdn.net/wangpengqi/article/details/9969599
http://www.cnblogs.com/hoys/archive/2011/04/09/2010788.html
http://binwaheed.blogspot.com/2010/08/after-reading-kernel-source-i-finally.html
http://ycool.com/post/by6vz7j
http://blog.csdn.net/vichie2008/article/details/37568065
http://www.linuxjournal.com/article/7356?page=0,3