美文网首页
fake-useragent伪装爬虫请求头

fake-useragent伪装爬虫请求头

作者: 林清猫耳 | 来源:发表于2018-11-24 15:17 被阅读25次

在很多爬虫中请求头是必不可少的,而使用 fake-useragent 这个库则可以让我们非常方便得伪装请求头。

安装

直接使用pip安装即可:
pip install fake-useragent

用法

from fake_useragent import UserAgent
ua = UserAgent()

ua.ie
# Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US);
ua.msie
# Mozilla/5.0 (compatible; MSIE 10.0; Macintosh; Intel Mac OS X 10_7_3; Trident/6.0)'
ua['Internet Explorer']
# Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; GTB7.4; InfoPath.2; SV1; .NET CLR 3.3.69573; WOW64; en-US)
ua.opera
# Opera/9.80 (X11; Linux i686; U; ru) Presto/2.8.131 Version/11.11
ua.chrome
# Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.2 (KHTML, like Gecko) Chrome/22.0.1216.0 Safari/537.2'
ua.google
# Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_4) AppleWebKit/537.13 (KHTML, like Gecko) Chrome/24.0.1290.1 Safari/537.13
ua['google chrome']
# Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11
ua.firefox
# Mozilla/5.0 (Windows NT 6.2; Win64; x64; rv:16.0.1) Gecko/20121011 Firefox/16.0.1
ua.ff
# Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:15.0) Gecko/20100101 Firefox/15.0.1
ua.safari
# Mozilla/5.0 (iPad; CPU OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5355d Safari/8536.25

# and the best one, random via real world browser usage statistic
ua.random

Demo

issues

如果遇到什么问题,先尝试把库更新到最新:
pip install -U fake-useragent

这里是官方文档的传送门,以及一个可能用得上的issue传送门

相关文章

  • fake-useragent伪装爬虫请求头

    在很多爬虫中请求头是必不可少的,而使用 fake-useragent 这个库则可以让我们非常方便得伪装请求头。 安...

  • fake-useragent,python爬虫伪装请求头

    在编写爬虫进行网页数据的时候,大多数情况下,需要在请求是增加请求头,下面介绍一个python下非常好用的伪装请求头...

  • Python:fake-useragent 伪装请求头

    写爬虫的时候,在进行 request 请求的时候,多数情况下需要添加请求头,否则就不能正常请求。 添加请求头最常用...

  • 12.2.1 修改请求头

    随机请求头模块:pip install fake-useragent 用法简单记录 请求头可以让网站改变布局格式。...

  • fake-useragent库:值得花2分钟学习的库

    前几天意外找到一个简单实用的库-fake-useragent,可以伪装生成headers请求头中的User Age...

  • requests 包添加请求头

    在爬虫的时候,如果不添加请求头,可能网站会阻止一个用户的登陆,此时我们就需要添加请求头来进行模拟伪装,使用pyth...

  • python爬虫——随机生成headers

    在编写爬虫进行网页数据,有时候需要添加请求头,去找并添加很麻烦。下面介绍一个python下非常好用的伪装请求头的库...

  • requests库-伪装请求

    伪装请求是将我们爬虫发送的请求伪装成更接近人使用浏览器或其他工具发送的用户请求。伪装请求的方法很多,这里要说的是伪...

  • 爬虫课程笔记

     听了老师的爬虫课,挺有收获。爬虫的原理很简单,本质上还是模拟浏览器发送HTTP请求。请求分请求头和请求体,请求头...

  • scrapy中设置随机User-Agent和随机ip代理

    首先介绍的是一个工具fake-useragent,可自动生成随机请求头,它被在线维护在github上。 可通...

网友评论

      本文标题:fake-useragent伪装爬虫请求头

      本文链接:https://www.haomeiwen.com/subject/tpcyqqtx.html