Golang 实战 -- 老师爬取器

学习Golang有一阵子了，本文从一个有趣的切入点（男生感觉有趣吧）。开始了一段Golang之路。

需求场景描述

我有一个叫威威的大兄弟，对于老师们渴慕已久，但是又不慎了解。所以我打算写一个爬虫，爬一点老师的图片，来慰藉一下这位大兄弟。
简单的来说就是写一个爬虫，实战一下Go。当然我是初学者，里面涉及到的包我想细致的讲解，若有不足之处还请指出。

老师爬取器

思路是这样的，找一个网站，然后爬取其中的HTML下来。里面有许多图片的URL，然后下载图片的URL至本地即大功告成。

爬虫主体代码

func checkError(err error) bool {
    if err != nil {
        fmt.Println(err)
        return false
    }
    return true
}

func CrawlingImageTags(url string, imageChan chan []string) {
    req, err := http.NewRequest("GET", url, nil)
    if !checkError(err) {
        return
    }
    
    client := http.DefaultClient
    res, err := client.Do(req)
    if !checkError(err) {
        return
    }

    if res.StatusCode == 200 {
        body := res.Body
        defer body.Close()
        
        bodyByte, _ := ioutil.ReadAll(body)
        resStr := string(bodyByte)

        reg, _ := regexp.Compile("<img .*>")
        imageTags := reg.FindAllString(resStr, -1)
        imageChan <- imageTags
    }
}

代码解释：

• checkError方法，检查err。
• CrawlingImageTags方法，爬取HTML页面，并通过正则取出其中的Image标签。
• 第一步 创建请求： http.NewRequest("GET", url, nil)，NewRequest使用指定的方法、网址和可选的主题创建并返回一个新的*Request。
• 第二步 发送请求：
• client := http.DefaultClient获取一个默认的HTTP客户端。
• res, err := client.Do(req)，Do方法发送请求，返回HTTP回复。它会遵守客户端c设置的策略。这里这个Do请求是一个同步请求，也就是这个请求不返回，改Gorountine就会卡在这条语句上。
• 第三步 获取HTTP请求Body：
• 注意的是要在defer中将body close掉，原因参考link
• 将io.Reader对象转变成[]byte --> bodyByte, _ := ioutil.ReadAll(body)
• 第四步 正则匹配。
• 最好将得到的ImageTags的Slice放入Channel中，因为这里我们要开多个Gorountine去爬取。

下载图片

func getImageByUrl(url string) {
    reg, err := regexp.Compile("/.*jpg")
    if checkError(err) {
        return
    }
    image := host + reg.FindString(url)

    imageRequest, err := http.Get(image)
    if checkError(err) {
        return
    }

    data, err := ioutil.ReadAll(imageRequest.Body)
    defer imageRequest.Body.Close()
    if checkError(err) {
        return
    }

    path := strings.Split(image, "/")
    var name string
    if len(path) > 1 {
        name = "image/" + path[len(path)-1]
    }

    os.Mkdir("image", os.ModeType)
    out, err := os.Create(name)

    if checkError(err) {
        return
    }
    io.Copy(out, bytes.NewReader(data))
}

func getImageBySlice(imageSlice []string) {
    fmt.Println("back")
    for _, value := range imageSlice {
        getImageByUrl(value)
    }
}

代码解释：

• 第一步：正则匹配挑出.jpg的URL地址，并拼接上host。
• 第二步：Get向指定的URL发出一个GET请求，如果回应的状态码如下，Get会在调用c.CheckRedirect后执行重定向 --> imageRequest, err := http.Get(image)
• 第三步：确定image的名字，创建文件夹目录
• 第四步：创建一个空文件，Create方法。doc
• 最后拷贝数据，写入空文件。doc

最后是main方法

const url string = "http://www.ttpaihang.com/vote/rank.php?voteid=1089&page="
const host string = "http://www.ttpaihang.com"

func main() {
    runtime.GOMAXPROCS(4)
    i := 0
    for {
        i++
        imageChan := make(chan []string, 10)
        go CrawlingImageTags(url+strconv.Itoa(i), imageChan)
        go getImageBySlice(<-imageChan)
    }
}

• 设置多核并行（并行于Gorotine并发有本质区别）
• 开启多个Gorotine并行下载。

总结

这里是从一个奇葩的切入点，熟悉一下 CHannel和Gorotine的使用场景以及一些官方标准包的API熟悉。
希望能在Go的路上越走越远。