美文网首页
爬虫及反爬

爬虫及反爬

作者: 王镇_ee87 | 来源:发表于2022-06-20 15:16 被阅读0次

    什么爬虫

    image.png

    常见的反爬方式及解决办法

    1. 通过headers字段来反爬

    1.1 通过headers中的User-Agent字段来反爬
    通过User-Agent字段反爬的话,只需要给他在请求之前添加User-Agent即可,更好的方式是使用User-Agent池来解决,我们可以考虑收集一堆User-Agent的方式,或者是随机生成User-Agen

    1.2 通过referer字段或者是其他字段来反爬

    通过referer字段来反爬,我们只需要添加上即可

    1.3 通过cookie来反爬

    如果目标网站不需要登录 每次请求带上前一次返回的cookie,比如requests模块的session

    如果目标网站需要登录 准备多个账号,通过一个程序获取账号对应的cookie,组成cookie池,其他程序使用这些cookie

    2.通过js来反爬

    2.1 通过js实现跳转来反爬
    在请求目标网站的时候,我们看到的似乎就请求了一个网站,然而实际上在成功请求目标网站之前,中间可能有通过js实现的跳转,我们肉眼不可见,这个时候可以通过点击perserve log按钮实现观察页面跳转情况

    在这些请求中,如果请求数量很多,一般来讲,只有那些response中带cookie字段的请求是有用的,意味着通过这个请求,对方服务器有设置cookie到本地

    2.2 通过js生成了请求参数(百度翻译有道翻译

    对应的需要分析js,观察加密的实现过程

    1. 简单的可以直接用python实现逻辑
    2. 一般复杂的可以把js代码拷出来 执行
    3. 复杂的可以使用selenium模块解决

    3.3 通过js实现了数据的加密 示例

    image.png image.png image.png

    3. 通过验证码来反爬

    通过打码平台或者是机器学习的方法识别验证码,其中打码平台廉价易用,建议使用

    4. 通过ip地址来反爬

    同一个ip大量请求了对方服务器,有更大的可能性会被识别为爬虫,对应的通过购买高质量的ip的方式能够解决

    5.1 通过自定义字体来反爬

    解决思路:可以尝试切换到手机版试试

    5.2 通过css来反爬 自如价格去哪价格

    如通过css掩盖真实数据

    解决思路:计算css的偏量

    5.3 手机app

    找工作网站 sign 破解


    image.png

    相关文章

      网友评论

          本文标题:爬虫及反爬

          本文链接:https://www.haomeiwen.com/subject/vabnzltx.html