美文网首页程序员Golang
GO------小白之爬虫一

GO------小白之爬虫一

作者: Winnifred_ | 来源:发表于2018-09-07 10:54 被阅读15次

    首先需要下载gopm具体网上百度、需要翻墙、如果读者实在找不到可以留下邮箱我把所需要的文件发各位邮箱

    此次小案例是我跟着慕课网的视频学习的、说实话、老师将确实不错

    整体的算法:

    首先准备如下文件夹

    然后我们定义所需要的全局变量

    在engine文件下建立types.go、Nilparse是为了测试所用

    准备main函数入口

    在fetcher中的fetcher.go中

    在这里用的peek我实在是有点难以理解、如果有懂的大神希望给小女子提点一下、peek其实只是取出1024个字节的数据、但是读取的数据不可能仅1024、其他的就不读了么?

    在zhenai /parser的citylist函数中

    在engine文件下的engine.go中

    我自己对这一部分的操作做了一个简单的总结

    相关文章

      网友评论

      • 69cf49421ddc:我 Get() 个人用户信息页面时直接403......
        Winnifred_:@ChenBao 个人信息我没爬、我就怕的是地名:joy:
        69cf49421ddc:@Winnifred_ 是的,只有403。403错误,是一种在网站访问过程中,常见的错误提示。
        403错误,表示资源不可用。服务器理解客户的请求,但拒绝处理它,通常由于服务器上文件或目录的权限设置导致的WEB访问错误。

        我怀疑是被反爬虫了.
        Winnifred_:@ChenBao 这个这个、我这里运行没问题:cry:就只显示403吗,别的错误信息有么

      本文标题:GO------小白之爬虫一

      本文链接:https://www.haomeiwen.com/subject/fzvsiftx.html