爬虫内容过滤的主要步骤：先用css选择器，go的选择器 golang.org/x/net/html，再用表达式对所选内容，再做一个过滤。本文针对主要技术点做说明。

目录

• 获取页面编码
• css选择器
• 正则表达式
• Parser解析器

获得页面编码

• net/html安装

//go get golang.org/x/net/html

• 示例

//r的参数为response.Body
func determinEncoding(r io.Reader) encoding.Encoding{
    bytes,err := bufio.NewReader(r).Peek(1024)
    if err != nil {
        panic(err)
    }
    encoding,_,_ := charset.DetermineEncoding(bytes,"")
    return encoding
}

func main(){
      resp,err := http.Get(...)
    if  err!=nil{
        panic(err)
    }
    defer resp.Body.Close()

    if resp.StatusCode != http.StatusOK {
        fmt.Println("Error: status code",resp.StatusCode)
    }

    //编码
    e := determinEncoding(resp.Body)
    //按编码转换爬虫而来的数据，依赖golang.org/x/text
    utf8Reader := 
      transform.NewReader(resp.Body,e.NewDecoder())
       ...
}

goquery之css选择器介绍

• 介绍
  Goquery，是 github 上 PuerkitoBio 开源的 Go 语言库，代码仓库在 https://github.com/PuerkitoBio/goquery。

goquery 使用 Go 语言实现了与 jQuery 尽可能相似的查询和操作语法，包括 CSS 选择语法和绝大部分的操作函数，方便熟悉 jQuery 的 Go 语言开发人员快速完成 HTML 文档的解析和查询操作。

jQuery 的 $(...) 语法来查询和操作 DOM 元素。

• 安装

go get github.com/PuerkitoBio/goquery

• 使用

doc,err :=goquery.NewDocumentFromReader(utf8Reader)
if err != nil{
    panic(err)
}

doc.Find("dl.city-list>dd").Each(
    func(i int, sel *goquery.Selection) {
      content,_ := sel.Html()
      if err == nil{
        fmt.Println(content)
    }
  })

正则表达式

package main

import (
    "fmt"
    "regexp"
)

const text = `My email is ccmouse@gmail.com@abc
    email is : test1@sina.com
    email is : abc@github.org
    email is : nianxl@dd.com.cn
`
func main() {
    //提取邮件
    re := regexp.MustCompile(`[a-zA-Z0-9]+@[a-zA-Z0-9]+.[a-zA-Z0-9]+[.][a-zA-Z0-9]+`)
    val := re.FindAllString(text,-1) //-1代表全部
    fmt.Printf("邮件列表为：%s \n",val)

    //提到邮件后半部分的域名：需要加分组
    re1 := regexp.MustCompile(`([a-zA-Z0-9]+)@([a-zA-Z0-9]+.[a-zA-Z0-9]+[.][a-zA-Z0-9]+)`)
    domainVal := re1.FindAllStringSubmatch(text,-1)
    fmt.Print("\n提取的域名列表为:")
    for i,_ := range domainVal{
        fmt.Printf("%s ",domainVal[i][2])
    }
}