美文网首页自动化技术文
码农写了个爬虫,看到抓回来的文字笑了,网友,不封ip已很友好!

码农写了个爬虫,看到抓回来的文字笑了,网友,不封ip已很友好!

作者: 51reboot | 来源:发表于2018-11-15 11:32 被阅读0次

    码农写了个爬虫,看到抓回来的文字笑了,网友,不封ip已很友好!

    想必有部分程序员也写过一些爬虫程序吧,不论是java语言还是php语言还是python等,都可以轻松实现,用php一行代码就可以抓取一个网页,不过后续要处理的细节还是蛮多,各种去噪处理什么的,另外还要注意的一点就是要遵循一定的规则,有的网站是不希望被抓取的,在网站的根目录下会有一个robot.txt之类的文件,爬虫要遵守这个规则,如果不遵守这个规则就算是比较流氓的做法了,近期一个程序员就给我们分享了他的一个遭遇。

    这名程序员写了一个爬虫程序,他写的这个程序可能就没有遵守爬虫规则,他试图去抓取对方的网站后却抓来一行文字(傻逼,你爬个锤子!),看到这行文字后令他哭笑不得,他感觉对方是在挑衅,这名程序员就发出如下的感慨:“对爬虫能不能友好点,这么挑衅,就得搞死你,尊严问题,不是数据的问题了,都是开发,何必呢”,针对这名程序员网友的这种情况,让我们一起看看其他网友们都是怎么看待的吧!

    网友一:我觉得这种还好,我们识别到爬虫都是不封接口故意给错误数据的…………

    网友四:这很容易得罪别人,小心被攻击

    转发
    原文链接:http://t.cn/E2vltbK

    相关文章

      网友评论

        本文标题:码农写了个爬虫,看到抓回来的文字笑了,网友,不封ip已很友好!

        本文链接:https://www.haomeiwen.com/subject/yvoefqtx.html