Web工作原理

首先，我們來(lái)了解一次網(wǎng)頁(yè)請(qǐng)求的過(guò)程。當(dāng)我們使用瀏覽器打開一個(gè)網(wǎng)頁(yè)時(shí)：
1.瀏覽器通過(guò)自身的DNS緩存進(jìn)行查找是否存在未過(guò)期的DNS記錄
2.如果沒(méi)有查找到的話會(huì)會(huì)向操作系統(tǒng)自身的DNS緩存查找記錄，如果仍未查找到會(huì)從本地的HOST文件中查找。
3.如果上述三個(gè)地方都沒(méi)有查找到DNS緩存，瀏覽器會(huì)以系統(tǒng)的名義向本地寬帶運(yùn)營(yíng)商的DNS服務(wù)器發(fā)起一個(gè)域名解析的請(qǐng)求：在這次請(qǐng)求中本地DNS服務(wù)器會(huì)檢查緩存是否存在該記錄，如果不存在則會(huì)進(jìn)行迭代或輪詢的DNS解析請(qǐng)求。最后返回給瀏覽器IP地址。
4.瀏覽器通過(guò)IP地址進(jìn)行TCP連接三次握手
5.建立連接后發(fā)送HTTP請(qǐng)求
6.服務(wù)器收到請(qǐng)求后根據(jù)路徑參數(shù)等以及一些處理將結(jié)果返回給瀏覽器
7.瀏覽器拿到代碼進(jìn)行解析，渲染。

net/http包

執(zhí)行流程

1.創(chuàng)建Listen socket，監(jiān)聽指定端口，等待客戶請(qǐng)求
2.接收客戶請(qǐng)求，得到Client socket，接下來(lái)通過(guò)Client socket與客戶端進(jìn)行通信
3.處理客戶請(qǐng)求，從Client socket讀取HTTP請(qǐng)求的協(xié)議頭，如果是POST，還要讀取客戶端請(qǐng)求的數(shù)據(jù)，然后交給響應(yīng)的handler處理請(qǐng)求，handler處理完畢通過(guò)Client socket將數(shù)據(jù)發(fā)送給客戶端

image.png

ListenAndServe函數(shù)

這個(gè)函數(shù)初始化了一個(gè)server對(duì)象，然后調(diào)用了net.Listen('tcp", addr)搭建了TCP協(xié)議的一個(gè)服務(wù)，然后監(jiān)控我們?cè)O(shè)置的端口。
然后調(diào)用serve函數(shù)，在這個(gè)函數(shù)中無(wú)限循環(huán)accept，當(dāng)接收到請(qǐng)求后創(chuàng)建一個(gè)Conn，最后單獨(dú)開了一個(gè)goroutine對(duì)這個(gè)連接進(jìn)行服務(wù)（go c.serve()）。

server的serve函數(shù)

func (srv *Server) Serve(l net.Listener) error {
    defer l.Close()
    var tempDelay time.Duration // how long to sleep on accept failure
    for {
        rw, e := l.Accept()
        if e != nil {
            if ne, ok := e.(net.Error); ok && ne.Temporary() {
                if tempDelay == 0 {
                    tempDelay = 5 * time.Millisecond
                } else {
                    tempDelay *= 2
                }
                if max := 1 * time.Second; tempDelay > max {
                    tempDelay = max
                }
                log.Printf("http: Accept error: %v; retrying in %v", e, tempDelay)
                time.Sleep(tempDelay)
                continue
            }
            return e
        }
        tempDelay = 0
        c, err := srv.newConn(rw)
        if err != nil {
            continue
        }
        go c.serve()
    }
}

c.serve()處理請(qǐng)求

1.解析request:c.readRequest()
2.獲取響應(yīng)的handler（ListenAndServe函數(shù)的第二個(gè)參數(shù)是一個(gè)路由器，如果這個(gè)參數(shù)為nil則默認(rèn)獲取DefaultServeMux，這個(gè)路由器可以根據(jù)url跳轉(zhuǎn)到響應(yīng)的handler）
3.使用handler處理

http. HandleFunc("/", hello)

這個(gè)函數(shù)用來(lái)設(shè)置路由器規(guī)則，例如當(dāng)匹配了/則使用hello函數(shù)
函數(shù)流程：
1.調(diào)用了DefaultServeMux的HandleFunc
2.調(diào)用了DefaultServeMux的Handle
3.往DefaultServeMux的map[string]muxEntry中增加對(duì)應(yīng)的handler和路由規(guī)則

ServeMux自定義

type ServeMux struct {
    mu sync.RWMutex   //鎖，由于請(qǐng)求涉及到并發(fā)處理，因此這里需要一個(gè)鎖機(jī)制
    m  map[string]muxEntry  // 路由規(guī)則，一個(gè)string對(duì)應(yīng)一個(gè)mux實(shí)體，這里的string就是注冊(cè)的路由表達(dá)式
    hosts bool // 是否在任意的規(guī)則中帶有host信息
}

type muxEntry struct {
    explicit bool   // 是否精確匹配
    h        Handler // 這個(gè)路由表達(dá)式對(duì)應(yīng)哪個(gè)handler
    pattern  string  //匹配字符串
}

如果自定義了ServeMux則會(huì)根據(jù)路由器選擇響應(yīng)的handler，如果沒(méi)有定義，即ListenAndServe的第二個(gè)參數(shù)為nil，但是HandlerFunc函數(shù)會(huì)生成一個(gè)HandlerFunc類型，這個(gè)類型實(shí)現(xiàn)了ServeHTTP接口

簡(jiǎn)易服務(wù)器

package main
 
import (
    "fmt"
    "net/http"
)
 
type MyMux struct {
}
 
func (p *MyMux) ServeHTTP(w http.ResponseWriter, r *http.Request) {
    if r.URL.Path == "/" {
        sayhelloName(w, r)
        return
    }
    http.NotFound(w, r)
    return
}
 
func sayhelloName(w http.ResponseWriter, r *http.Request) {
    fmt.Fprintf(w, "Hello myroute!")
}
 
func main() {
    mux := &MyMux{}
    http.ListenAndServe(":9090", mux)
}

執(zhí)行http請(qǐng)求

GET請(qǐng)求

1.直接使用net/http包內(nèi)的函數(shù)請(qǐng)求

resp, err := http.Get("https://www.baidu.com")

2.利用http.client結(jié)構(gòu)體來(lái)請(qǐng)求

clt := http.Client{}
resp, err := clt.Get("http://wwww.baidu.com")

兩種請(qǐng)求的本質(zhì)都是

req, err := http.NewRequest("GET", "http://www.baidu.com", nil)//生成一個(gè)request實(shí)體
resp, err := http.DefaultClient.Do(req)

POST請(qǐng)求

1.使用net/http包自帶的函數(shù)

data := url.Values{"start":{"0"}, "offset":{"xxxx"}}
body := strings.NewReader(data.Encode())
resp, err := http.Post("xxxxxxx", "application/x-www-form-urlencoded", body)

或者

data := url.Values{"start":{"0"}, "offset":{"xxxx"}}
http.PostForm("xxxx", data)

2.使用http.client來(lái)請(qǐng)求

data := url.Values{"start":{"0"}, "offset":{"xxxx"}}
body := strings.NewReader(data.Encode())
clt := http.Client{}
resp, err := clt.Post("xxxxxxx", "application/x-www-form-urlencoded", body)

兩種請(qǐng)求的本質(zhì)也是使用NewRequest創(chuàng)建一個(gè)request結(jié)構(gòu)體

data := url.Values{"start":{"0"}, "offset":{"xxxx"}}
body := strings.NewReader(data.Encode())

req, err := http.NewRequest("POST", "xxxxx", body)
req.Header.Set("Content-Type", "application/x-www-form-urlencoded")

clt := http.Client{}
clt.Do(req)

如果要添加header，則還是用NewRequest方法吧，并且調(diào)用req.Header.Set(key, value)

request/response結(jié)構(gòu)體

request

type Request struct {
    Method string  //HTTP method (GET, POST, PUT, etc.)
    URL *url.URL // 見下面URL定義
    Proto      string // http協(xié)議類型，如 HTTP/1.1，HTTP/2
    ProtoMajor int    // 1
    ProtoMinor int    // 0
    Header Header // 請(qǐng)求頭，map[string][]string
    Body io.ReadCloser // http請(qǐng)求body post請(qǐng)求的內(nèi)容就放在這里
    GetBody func() (io.ReadCloser, error) // 獲取body的方法
    ContentLength int64  // 描述HTTP消息實(shí)體的傳輸長(zhǎng)度
    TransferEncoding []string  //傳輸編碼， 如chunk
    Close bool 
    Host string // 主機(jī)地址，IP或域名
    Form url.Values //URL和參數(shù)的map
    PostForm url.Values //POST, PATCH, or PUT body 參數(shù)
    MultipartForm *multipart.Form
    Trailer Header
    RemoteAddr string
    RequestURI string //通常就是URL
    TLS *tls.ConnectionState
    Cancel <-chan struct{}
    Response *Response
    ctx context.Context
}

----------------------------------------------
URL定義：
type URL struct {
    Scheme     string
    Opaque     string    // encoded opaque data
    User       *Userinfo // username and password information
    Host       string    // host or host:port
    Path       string    // path (relative paths may omit leading slash)
    RawPath    string    // encoded path hint (see EscapedPath method)
    ForceQuery bool      // append a query ('?') even if RawQuery is empty
    RawQuery   string    // encoded query values, without '?'
    Fragment   string    // fragment for references, without '#'
}

resposne

type Response struct {
    Status     string // e.g. "200 OK"
    StatusCode int    // e.g. 200
    Proto      string // e.g. "HTTP/1.0"
    ProtoMajor int    // e.g. 1
    ProtoMinor int    // e.g. 0
        Header Header //響應(yīng)頭
    Body io.ReadCloser //響應(yīng)內(nèi)容
    ContentLength int64 //HTTP消息實(shí)體的傳輸長(zhǎng)度
    TransferEncoding []string 
    Close bool
    Uncompressed bool
    Trailer Header
    Request *Request
    TLS *tls.ConnectionState
}

net包

socket編程

TCP server

package main

import (
    "fmt"
    "net"
    "os"
    "time"
)

func main() {
    service := ":9093"
    tcpAddr, err := net.ResolveTCPAddr("tcp4", service)
    checkError(err)
    listener, err := net.ListenTCP("tcp", tcpAddr)
    checkError(err)
    for {
        conn, err := listener.Accept()
        if err != nil {
            continue
        }
        go handleClient(conn)
    }
}

func handleClient(conn net.Conn) {
    defer conn.Close()
    daytime := time.Now().String()
    b := make([]byte, 1024)
    conn.Read(b)
    conn.Write([]byte(daytime)) // don't care about return value
    // we're finished with this client
}
func checkError(err error) {
    if err != nil {
        fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())
        os.Exit(1)
    }
}

TCP client

package main
 
import (
    "fmt"
    "io/ioutil"
    "net"
    "os"
)
 
func main() {
    if len(os.Args) != 3 {
        fmt.Fprintf(os.Stderr, "Usage: %s host:port ", os.Args[0])
        os.Exit(1)
    }
    service := os.Args[1]
    tcpAddr, err := net.ResolveTCPAddr("tcp4", service)
    checkError(err)
    conn, err := net.DialTCP("tcp", nil, tcpAddr)
    checkError(err)
    _, err = conn.Write([]byte(os.Args[2]))
    checkError(err)
 
    result, err := ioutil.ReadAll(conn)
    checkError(err)
    fmt.Println(string(result))
}
 
func checkError(err error) {
    if err != nil {
        fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())
        os.Exit(1)
    }
}