美文网首页亲好鉴定
360搜索的爬虫没有在每一次请求的 useragent 里包含“

360搜索的爬虫没有在每一次请求的 useragent 里包含“

作者: larryzhao | 来源:发表于2018-04-21 15:16 被阅读1304次

    这些天在查简书的爬虫,发现360搜索的爬虫在绝大多数请求的 ua 里都没有声明自己是 360spider 。

    360搜索的爬虫没有在每一次请求的 useragent 里包含“360Spider”

    查询 360 搜索官网发现这个 IP 的确是 360 的爬虫。

    360搜索的爬虫没有在每一次请求的 useragent 里包含“360Spider”

    相关文章

      网友评论

        本文标题:360搜索的爬虫没有在每一次请求的 useragent 里包含“

        本文链接:https://www.haomeiwen.com/subject/qyuxlftx.html