美文网首页Golang Web 编程小书Golanggo
Golang构建HTTP服务(一)--- net/http库源码

Golang构建HTTP服务(一)--- net/http库源码

作者: 人世间 | 来源:发表于2016-12-03 23:32 被阅读14402次

    实现一个最简单HTTP server需要多少代码?只需要一行,Python2的python -m SimpleHTTPServer,ruby的ruby -run -e httpd . -p 8888。对于Golang,实现一个最简单的http server也用不着几行,却能带来更具杀伤力的性能。

    一个Go最简单的http服务器:

    package main
    
    import (
        "fmt"
        "net/http"
    )
    
    func IndexHandler(w http.ResponseWriter, r *http.Request) {
        fmt.Fprintln(w, "hello world")
    }
    
    func main() {
        http.HandleFunc("/", IndexHandler)
        http.ListenAndServe("127.0.0.0:8000", nil)
    }
    
    

    上述代码究竟有什么魔法呢?下面将会解密go的net/http实现http服务的原理。学习net/http源码不仅可以学习网络编程中常见范式,也是学习Golang接口设计哲学。

    HTTP

    网络发展,很多网络应用都是构建再 HTTP 服务基础之上。HTTP 协议从诞生到现在,发展从1.0,1.1到2.0也不断再进步。除去细节,理解 HTTP 构建的网络应用只要关注两个端---客户端(clinet)和服务端(server),两个端的交互来自 clinet 的 request,以及server端的response。所谓的http服务器,主要在于如何接受 clinet 的 request,并向client返回response。

    接收request的过程中,最重要的莫过于路由(router),即实现一个Multiplexer器。Go中既可以使用内置的mutilplexer --- DefautServeMux,也可以自定义。Multiplexer路由的目的就是为了找到处理器函数(handler),后者将对request进行处理,同时构建response。

    简单总结就是这个流程为:

    Clinet -> Requests ->  [Multiplexer(router) -> handler  -> Response -> Clinet
    

    因此,理解go中的http服务,最重要就是要理解Multiplexer和handler,Golang中的Multiplexer基于ServeMux结构,同时也实现了Handler接口。

    对于handler的其实没有合适的中文词语,只可意会,不可言传的感觉。为了更好的说明问题,本文约定了如下规则:

    • hander函数: 具有func(w http.ResponseWriter, r *http.Requests)签名的函数
    • handler处理器(函数): 经过HandlerFunc结构包装的handler函数,它实现了ServeHTTP接口方法的函数。调用handler处理器的ServeHTTP方法时,即调用handler函数本身。
    • handler对象:实现了Handler接口ServeHTTP方法的结构。

    handler处理器和handler对象的差别在于,一个是函数,另外一个是结构,它们都有实现了ServeHTTP方法。很多情况下它们的功能类似,下文就使用统称为handler。这算是Golang通过接口实现的类动态类型吧。

    hander-handler处理器.jpeg

    Golang的http处理流程可以用下面一张图表示,后面内容是针对图进行说明:

    go-http.png

    Handler

    Golang没有继承,类多态的方式可以通过接口实现。所谓接口则是定义声明了函数签名,任何结构只要实现了与接口函数签名相同的方法,就等同于实现了接口。go的http服务都是基于handler进行处理。

    type Handler interface {
        ServeHTTP(ResponseWriter, *Request)
    }
    

    任何结构体,只要实现了ServeHTTP方法,这个结构就可以称之为handler对象。ServeMux会使用handler并调用其ServeHTTP方法处理请求并返回响应。

    ServeMux

    了解了Handler之后,再看ServeMux。ServeMux的源码很简单:

    type ServeMux struct {
        mu    sync.RWMutex
        m     map[string]muxEntry
        hosts bool 
    }
    
    type muxEntry struct {
        explicit bool
        h        Handler
        pattern  string
    }
    

    ServeMux结构中最重要的字段为m,这是一个map,key是一些url模式,value是一个muxEntry结构,后者里定义存储了具体的url模式和handler。

    当然,所谓的ServeMux也实现了ServeHTTP接口,也算是一个handler,不过ServeMux的ServeHTTP方法不是用来处理request和respone,而是用来找到路由注册的handler,后面再做解释。

    Server

    除了ServeMux和Handler,还有一个结构Server需要了解。从http.ListenAndServe的源码可以看出,它创建了一个server对象,并调用server对象的ListenAndServe方法:

    func ListenAndServe(addr string, handler Handler) error {
        server := &Server{Addr: addr, Handler: handler}
        return server.ListenAndServe()
    }
    

    查看server的结构如下:

    type Server struct {
        Addr         string        
        Handler      Handler       
        ReadTimeout  time.Duration 
        WriteTimeout time.Duration 
        TLSConfig    *tls.Config   
    
        MaxHeaderBytes int
    
        TLSNextProto map[string]func(*Server, *tls.Conn, Handler)
    
        ConnState func(net.Conn, ConnState)
        ErrorLog *log.Logger
        disableKeepAlives int32     nextProtoOnce     sync.Once 
        nextProtoErr      error     
    }
    

    server结构存储了服务器处理请求常见的字段。其中Handler字段也保留Handler接口。如果Server接口没有提供Handler结构对象,那么会使用DefautServeMux做multiplexer,后面再做分析。

    创建HTTP服务

    创建一个http服务,大致需要经历两个过程,首先需要注册路由,即提供url模式和handler函数的映射,其次就是实例化一个server对象,并开启对客户端的监听。

    再看gohttp服务的代码

    http.HandleFunc("/", indexHandler)
    

    即是注册路由。

    http.ListenAndServe("127.0.0.1:8000", nil)
    
    或者:
    
    server := &Server{Addr: addr, Handler: handler}
    
    server.ListenAndServe()
    

    注册路由

    阅读框架源码是学习的好方式,通常阅读也有两个方法,一是不求甚解,框架的主要流程要清晰,别的细枝末节,如果尚不能理解作者的用意,可以先忽略,不必马上深究;其次,庖丁解牛,对于作者想要表达的主要流程,一定要明确,执行的逻辑和结构。两者看起来略矛盾,其实不然。大体而言就是对主流程要清晰,主流程以外的细节需要先忽略。最简单实践方式就是,看不懂的就先放一边。直到所有的都看不懂,再回去看以前不懂的部分,搞懂为止。下面就查看http是如何注册路由。

    net/http包暴露的注册路由的api很简单,http.HandleFunc选取了DefaultServeMux作为multiplexer:

    func HandleFunc(pattern string, handler func(ResponseWriter, *Request)) {
        DefaultServeMux.HandleFunc(pattern, handler)
    }
    

    那么什么是DefaultServeMux呢?实际上,DefaultServeMux是ServeMux的一个实例。当然http包也提供了NewServeMux方法创建一个ServeMux实例,默认则创建一个DefaultServeMux:

    // NewServeMux allocates and returns a new ServeMux.
    func NewServeMux() *ServeMux { return new(ServeMux) }
    
    // DefaultServeMux is the default ServeMux used by Serve.
    var DefaultServeMux = &defaultServeMux
    
    var defaultServeMux ServeMux
    

    注意,go创建实例的过程中,也可以使用指针方式,即
    type Server struct{}
    server := Server{}
    和下面的一样都可以创建Server的实例
    var DefalutServer Server
    var server = &DefalutServer

    
    因此DefaultServeMux的HandleFunc(pattern, handler)方法实际是定义在ServeMux下的:
    
    

    func (mux *ServeMux) HandleFunc(pattern string, handler func(ResponseWriter, *Request)) {
    mux.Handle(pattern, HandlerFunc(handler))
    }

    
    上述代码中,HandlerFunc是一个函数类型。同时实现了Handler接口的ServeHTTP方法。使用HandlerFunc类型包装一下路由定义的indexHandler函数,其目的就是为了让这个函数也实现ServeHTTP方法,即转变成一个handler处理器(函数)。
    
    

    type HandlerFunc func(ResponseWriter, *Request)

    func (f HandlerFunc) ServeHTTP(w ResponseWriter, r *Request) {
    f(w, r)
    }

    
    一旦这样做了,就意味着我们的 indexHandler 函数也有了ServeHTTP方法。
    
    此外,ServeMux的Handle方法,将会对pattern和handler函数做一个map映射:
    
    

    func (mux *ServeMux) Handle(pattern string, handler Handler) {
    mux.mu.Lock()
    defer mux.mu.Unlock()

    if pattern == "" {
        panic("http: invalid pattern " + pattern)
    }
    if handler == nil {
        panic("http: nil handler")
    }
    if mux.m[pattern].explicit {
        panic("http: multiple registrations for " + pattern)
    }
    
    if mux.m == nil {
        mux.m = make(map[string]muxEntry)
    }
    mux.m[pattern] = muxEntry{explicit: true, h: handler, pattern: pattern}
    
    if pattern[0] != '/' {
        mux.hosts = true
    }
    
    n := len(pattern)
    if n > 0 && pattern[n-1] == '/' && !mux.m[pattern[0:n-1]].explicit {
    
        path := pattern
        if pattern[0] != '/' {
            path = pattern[strings.Index(pattern, "/"):]
        }
        url := &url.URL{Path: path}
        mux.m[pattern[0:n-1]] = muxEntry{h: RedirectHandler(url.String(), StatusMovedPermanently), pattern: pattern}
    }
    

    }

    
    由此可见,Handle函数的主要目的在于把handler和pattern模式绑定到map[string]muxEntry的map上,其中muxEntry保存了更多pattern和handler的信息,还记得前面讨论的Server结构吗?Server的m字段就是map[string]muxEntry这样一个map。
    
    此时,pattern和handler的路由注册完成。接下来就是如何开始server的监听,以接收客户端的请求。
    
    #### 开启监听
    
    注册好路由之后,启动web服务还需要开启服务器监听。http的ListenAndServer方法中可以看到创建了一个Server对象,并调用了Server对象的同名方法:
    
    

    func ListenAndServe(addr string, handler Handler) error {
    server := &Server{Addr: addr, Handler: handler}
    return server.ListenAndServe()
    }

    func (srv Server) ListenAndServe() error {
    addr := srv.Addr
    if addr == "" {
    addr = ":http"
    }
    ln, err := net.Listen("tcp", addr)
    if err != nil {
    return err
    }
    return srv.Serve(tcpKeepAliveListener{ln.(
    net.TCPListener)})
    }

    
    Server的ListenAndServe方法中,会初始化监听地址Addr,同时调用Listen方法设置监听。最后将监听的TCP对象传入Serve方法:
    
    

    func (srv *Server) Serve(l net.Listener) error {
    defer l.Close()
    ...

    baseCtx := context.Background()
    ctx := context.WithValue(baseCtx, ServerContextKey, srv)
    ctx = context.WithValue(ctx, LocalAddrContextKey, l.Addr())
    for {
        rw, e := l.Accept()
        ...
        c := srv.newConn(rw)
        c.setState(c.rwc, StateNew) // before Serve can return
        go c.serve(ctx)
    }
    

    }

    
    #### 处理请求
    
    监听开启之后,一旦客户端请求到底,go就开启一个协程处理请求,主要逻辑都在serve方法之中。
    
    serve方法比较长,其主要职能就是,创建一个上下文对象,然后调用Listener的Accept方法用来 获取连接数据并使用newConn方法创建连接对象。最后使用goroutein协程的方式处理连接请求。因为每一个连接都开起了一个协程,请求的上下文都不同,同时又保证了go的高并发。serve也是一个长长的方法:
    
    

    func (c *conn) serve(ctx context.Context) {
    c.remoteAddr = c.rwc.RemoteAddr().String()
    defer func() {
    if err := recover(); err != nil {
    const size = 64 << 10
    buf := make([]byte, size)
    buf = buf[:runtime.Stack(buf, false)]
    c.server.logf("http: panic serving %v: %v\n%s", c.remoteAddr, err, buf)
    }
    if !c.hijacked() {
    c.close()
    c.setState(c.rwc, StateClosed)
    }
    }()

    ...
    
    for {
        w, err := c.readRequest(ctx)
        if c.r.remain != c.server.initialReadLimitSize() {
            // If we read any bytes off the wire, we're active.
            c.setState(c.rwc, StateActive)
        }
        ...
        
        }
        
        ...
      
        serverHandler{c.server}.ServeHTTP(w, w.req)
        w.cancelCtx()
        if c.hijacked() {
            return
        }
        w.finishRequest()
        if !w.shouldReuseConnection() {
            if w.requestBodyLimitHit || w.closedRequestBodyEarly() {
                c.closeWriteAndWait()
            }
            return
        }
        c.setState(c.rwc, StateIdle)
    }
    

    }

    尽管serve很长,里面的结构和逻辑还是很清晰的,使用defer定义了函数退出时,连接关闭相关的处理。然后就是读取连接的网络数据,并处理读取完毕时候的状态。接下来就是调用`serverHandler{c.server}.ServeHTTP(w, w.req)`方法处理请求了。最后就是请求处理完毕的逻辑。serverHandler是一个重要的结构,它近有一个字段,即Server结构,同时它也实现了Handler接口方法ServeHTTP,并在该接口方法中做了一个重要的事情,初始化multiplexer路由多路复用器。如果server对象没有指定Handler,则使用默认的DefaultServeMux作为路由Multiplexer。并调用初始化Handler的ServeHTTP方法。
    
    

    type serverHandler struct {
    srv *Server
    }

    func (sh serverHandler) ServeHTTP(rw ResponseWriter, req Request) {
    handler := sh.srv.Handler
    if handler == nil {
    handler = DefaultServeMux
    }
    if req.RequestURI == "
    " && req.Method == "OPTIONS" {
    handler = globalOptionsHandler{}
    }
    handler.ServeHTTP(rw, req)
    }

    
    这里DefaultServeMux的ServeHTTP方法其实也是定义在ServeMux结构中的,相关代码如下:
    
    

    func (mux *ServeMux) (w ResponseWriter, r Request) {
    if r.RequestURI == "
    " {
    if r.ProtoAtLeast(1, 1) {
    w.Header().Set("Connection", "close")
    }
    w.WriteHeader(StatusBadRequest)
    return
    }
    h, _ := mux.Handler(r)
    h.ServeHTTP(w, r)
    }

    func (mux *ServeMux) Handler(r *Request) (h Handler, pattern string) {
    if r.Method != "CONNECT" {
    if p := cleanPath(r.URL.Path); p != r.URL.Path {
    _, pattern = mux.handler(r.Host, p)
    url := *r.URL
    url.Path = p
    return RedirectHandler(url.String(), StatusMovedPermanently), pattern
    }
    }
    return mux.handler(r.Host, r.URL.Path)
    }

    func (mux *ServeMux) handler(host, path string) (h Handler, pattern string) {
    mux.mu.RLock()
    defer mux.mu.RUnlock()

    // Host-specific pattern takes precedence over generic ones
    if mux.hosts {
        h, pattern = mux.match(host + path)
    }
    if h == nil {
        h, pattern = mux.match(path)
    }
    if h == nil {
        h, pattern = NotFoundHandler(), ""
    }
    return
    

    }

    func (mux *ServeMux) match(path string) (h Handler, pattern string) {
    var n = 0
    for k, v := range mux.m {
    if !pathMatch(k, path) {
    continue
    }
    if h == nil || len(k) > n {
    n = len(k)
    h = v.h
    pattern = v.pattern
    }
    }
    return
    }

    
    mux的ServeHTTP方法通过调用其Handler方法寻找注册到路由上的handler函数,并调用该函数的ServeHTTP方法,本例则是IndexHandler函数。
    
    mux的Handler方法对URL简单的处理,然后调用handler方法,后者会创建一个锁,同时调用match方法返回一个handler和pattern。
    
    在match方法中,mux的m字段是map[string]muxEntry图,后者存储了pattern和handler处理器函数,因此通过迭代m寻找出注册路由的patten模式与实际url匹配的handler函数并返回。
    
    返回的结构一直传递到mux的ServeHTTP方法,接下来调用handler函数的ServeHTTP方法,即IndexHandler函数,然后把response写到http.RequestWirter对象返回给客户端。
    
    上述函数运行结束即`serverHandler{c.server}.ServeHTTP(w, w.req)`运行结束。接下来就是对请求处理完毕之后上希望和连接断开的相关逻辑。
    
    至此,Golang中一个完整的http服务介绍完毕,包括注册路由,开启监听,处理连接,路由处理函数。
    
    ### 总结
    
    多数的web应用基于HTTP协议,客户端和服务器通过request-response的方式交互。一个server并不可少的两部分莫过于路由注册和连接处理。Golang通过一个ServeMux实现了的multiplexer路由多路复用器来管理路由。同时提供一个Handler接口提供ServeHTTP用来实现handler处理其函数,后者可以处理实际request并构造response。
    
    ServeMux和handler处理器函数的连接桥梁就是Handler接口。ServeMux的ServeHTTP方法实现了寻找注册路由的handler的函数,并调用该handler的ServeHTTP方法。ServeHTTP方法就是真正处理请求和构造响应的地方。
    
    回顾go的http包实现http服务的流程,可见大师们的编码设计之功力。学习有利提高自身的代码逻辑组织能力。更好的学习方式除了阅读,就是实践,接下来,我们将着重讨论来构建http服务。尤其是构建http中间件函数。

    相关文章

      网友评论

      • wuqxuan:类型 HandleFunc 和 函数 HandleFunc 区分开,不然容易懵
        杨鼎睿Abser:区分不来,应该怎样区分
      • feixin09:好文章,讲述得很清楚
      • e21d4fb77e5d:我复制了开头的那段代码,为什么127.0.0.0:8000 本地无法访问 还少什么东西吗
        91226eeb70e9:127.0.0.1
        e21d4fb77e5d:@人世间 是的 刚没注意 已经解决了 谢谢
        人世间:你本地是不是开了代理
      • f995c701071c:clinet -> client
      • 读书的程序员:博主写的很棒,我是写python代码的,最近在学习golang,刚开始很不适应,习惯了python的代码,学习golang,感觉别扭很多,看到博主整理,也希望通过这种阅读源码的方式,让自己尽快入门到golang
      • 33188b582c17:好久没有看到有人能静下心来,写这样的文章了!
      • zjh821:很详细,谢谢分享
      • 而是而且:写的很详细,,明白了
      • qishuai:阅读源码是我的弱点,看了之后在看源码好理解了不少。
      • 克洛诺斯:博主,你那张Golang处理http的路程图看不清,请问有高清的吗?
        13d70d7c732a:这个流程图画的很好 请问下用什么工具画的
        人世间:@克洛诺斯 你可以用 web 浏览器打开,jianshu没有压缩图片, 地址 : http://upload-images.jianshu.io/upload_images/11043-b203aff690e35cfc.png?imageMogr2/auto-orient/strip%7CimageView2/2
        克洛诺斯:流程图

      本文标题:Golang构建HTTP服务(一)--- net/http库源码

      本文链接:https://www.haomeiwen.com/subject/ltzcmttx.html