美文网首页程序员Golang
GO------小白之爬虫一

GO------小白之爬虫一

作者: Winnifred_ | 来源:发表于2018-09-07 10:54 被阅读15次

首先需要下载gopm具体网上百度、需要翻墙、如果读者实在找不到可以留下邮箱我把所需要的文件发各位邮箱

此次小案例是我跟着慕课网的视频学习的、说实话、老师将确实不错

整体的算法:

首先准备如下文件夹

然后我们定义所需要的全局变量

在engine文件下建立types.go、Nilparse是为了测试所用

准备main函数入口

在fetcher中的fetcher.go中

在这里用的peek我实在是有点难以理解、如果有懂的大神希望给小女子提点一下、peek其实只是取出1024个字节的数据、但是读取的数据不可能仅1024、其他的就不读了么?

在zhenai /parser的citylist函数中

在engine文件下的engine.go中

我自己对这一部分的操作做了一个简单的总结

相关文章

网友评论

  • 69cf49421ddc:我 Get() 个人用户信息页面时直接403......
    Winnifred_:@ChenBao 个人信息我没爬、我就怕的是地名:joy:
    69cf49421ddc:@Winnifred_ 是的,只有403。403错误,是一种在网站访问过程中,常见的错误提示。
    403错误,表示资源不可用。服务器理解客户的请求,但拒绝处理它,通常由于服务器上文件或目录的权限设置导致的WEB访问错误。

    我怀疑是被反爬虫了.
    Winnifred_:@ChenBao 这个这个、我这里运行没问题:cry:就只显示403吗,别的错误信息有么

本文标题:GO------小白之爬虫一

本文链接:https://www.haomeiwen.com/subject/fzvsiftx.html