过去的六个月由于一些原因在Go的学习上面花的精力很少,很庆幸在这段时间有不少人关注我,接下来主要学习Go在开发的一些应用,爬虫就是一个不可缺少的环节。首先介绍Go爬虫的简单应用
一、主要使用 goquery第三方框架进行爬虫开发,
package main
import (
"fmt"
"github.com/PuerkitoBio/goquery"
"log"
"os"
)
func main() {
GetPase()
}
func GetPase() {
file := "myfirst.txt"
fout, err := os.Create(file)
defer fout.Close()
if err != nil {
fmt.Println(file, err)
return
}
doc, err := goquery.NewDocument("http://news.qq.com")
if err != nil {
log.Fatal(err)
}
doc.Find(".linkto").Each(func(i int, s *goquery.Selection) {
fout.WriteString(s.Text())
fout.WriteString("------")
fout.WriteString("\n\r")
})
}
网友评论