2020-03-19 随机选择header

from urllib.request import urlopen
from urllib.request import Request
from random import choice
# 创建对象
url = "http://www.baidu.com"
# 创建表头，还可以多个表头随机
User_Agent = [
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1"
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36"
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11"
]
headers = {
    "User-Agent": choice(User_Agent)
}
#输出随机选择
print(choice(User_Agent))
#创建对象
resp = Request(url, headers=headers)
#创建打开对象
result = urlopen(resp)
#输出爬去信息
print(result.read().decode())

网上有好多经典的 user_agent，可以直接套用，也可以用 fake_useragent库随机输出。使用方法如下：

#1.先pip install fake_useragent
#2.from fake_useragent import UserAgent
#3.ua = UserAgent()
#4.print(ua.chrome)  

总结：fake_useragent 以后会经常用到，简单记录一下过程。最后 还要选择哪个浏览器。
这节学到了 创建随机库，random choice