前几天意外找到一个简单实用的库- fake-useragent,可以伪装生成headers请求头中的User Agent值。再也不用,重复做复制粘贴这种很Low的工作了。
安装
pip3 install fake-useragent
各浏览器的user-agent值
最实用的
但我认为写爬虫最实用的是可以随意变换headers,一定要有随机性。在这里我写了三个随机生成user agent,三次打印都不一样,随机性很强,十分方便。大邓觉得这个库,只会这random方法就可以了。
爬虫中具体使用方法
网友评论