美文网首页
爬虫随机浏览器识别

爬虫随机浏览器识别

作者: 鲸随浪起 | 来源:发表于2019-01-20 17:26 被阅读0次
import random
import requests
headers = {}
user_agent_list = ["Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36",
                    "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36",
                    "Mozilla/5.0 (Windows NT 10.0; …) Gecko/20100101 Firefox/61.0",
                    "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36",
                    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36",
                    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36",
                    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)",
                    "Mozilla/5.0 (Macintosh; U; PPC Mac OS X 10.5; en-US; rv:1.9.2.15) Gecko/20110303 Firefox/3.6.15",
                    ]
headers['User-Agent'] = random.choice(user_agent_list)
print(headers)
url = 'https://www.xd0.com/'
response = requests.get(url,headers = headers)
cookiejar = response.cookies
cookiedict = requests.utils.dict_from_cookiejar(cookiejar)
print(cookiedict)
for key,value in cookiedict.items():
    cookie = key+'='+value
    headers['Cookie'] = cookie
headers['Accept-Language'] = 'zh-CN,zh;q=0.9'
print(headers)

相关文章

  • 爬虫随机浏览器识别

  • 爬虫练习2

    主要练习目标:数据的获取、反反爬虫部署、数据识别、数据解析、数据读取输出深层目标:优化反反爬虫部署、增加判断浏览器...

  • pyhton爬虫学习(九):爬虫伪装

    有些网站可以识别出访问者是通过浏览器还是爬虫反问该网站,如果识别不是浏览器,就会禁止反问或者禁止该用户在网站上面的...

  • 反反爬虫方式

    一、User-Agent 有的网站通过User-Agent头来识别爬虫,这个直接添加常见浏览器的User-Agen...

  • Scrapy的下载中间件

    防止爬虫被反的几个策略: 1、动态设置User-Agent 随机切换User-Agent,模拟不同用户的浏览器信息...

  • 2.随机获取User-Agent之fake-useragent包

    UserAgent是识别浏览器的一串字符串,相当于浏览器的身份证,在利用爬虫爬取网站数据时,频繁更换UserAge...

  • 爬虫

    1、反反爬虫相关机制 1、动态设置User-Agent(随机切换User-Agent,模拟不同用户的浏览器信息)2...

  • 2020-01-06培训

    爬虫+数据解析 通用爬虫+聚焦爬虫 浏览器 请求响应机制,相当于播放器要点:模拟浏览器,加上header 找出日常...

  • 爬虫理解版本3

    1 爬虫高级 1.1 动态HTML处理和机器图像识别 爬虫(Spider),反爬虫(Anti-Spider),反反...

  • python爬虫从入门到放弃之三:爬虫的基本流程

    ——前文说过,爬虫的本质是模拟浏览器,那么,浏览器做了什么,我们爬虫程序也跟着做什么!下面,我们来分析爬虫的基本流...

网友评论

      本文标题:爬虫随机浏览器识别

      本文链接:https://www.haomeiwen.com/subject/fnaxjqtx.html