写在前面：该篇文章是学习selenium反反爬的记录文章，会逐步完善，并不代表是selenium所有的反反爬方式，还请大佬纠正指点！

1. 修改特征值

问题：

在我们使用自动化脚本工具抓取网页的时候，在网页控制台中执行这一段JS代码window.navigator.webdriver会返回true；而人工手动打开的网页则会返回false；这就是目标网站判断我们是不是自动化工具的手段之一。

未修改之前.png

解决方式：

已失效方法：

1. 修改特征值：

# 以Chromedriver举例
chrome = webdriver.ChromeOptions()
# 打开这个参数
chrome.add_experimental_option('excludeSwitches', ['enable-automation'])
# 设置driver
driver = webdriver.Chrome(options=chrome, executable_path=chrome_path)

但是有的朋友可能会发现，该方法无效，这是因为在谷歌79版本之后，修复了启用自动化时window.navigator.webdriver为未定义的问题。所以该方法失效！解决方式可以回退Chrome浏览器版本，有兴趣的朋友可以尝试一下~
失效之后我在网上查找了很多使用CDP（Google的Chrome Devtools-Protocol（Chrome 开发工具协议））修改特征值的方法，都未成功。
看看CDP官网有这么一段

image.png
意思就是在driver打开每一个页面之前（网站还未加载JS代码时），可以先执行我们自己的代码；但是我尝试了很多执行JS都无效，不能修改成功。

目前成功方法：

只需要添加--disable-blink-features=AutomationControlled参数即可；上边代码修改为

# 以Chromedriver举例
chrome = webdriver.ChromeOptions()
# 打开这个参数
chrome.add_experimental_option('excludeSwitches', ['enable-automation'])
# 将window.navigator.webdriver特征值去除
chrome.add_argument("--disable-blink-features=AutomationControlled")
# 设置driver
driver = webdriver.Chrome(options=chrome, executable_path=chrome_path)

第一次的失效代码保留或删除都不影响结果
看看执行结果：

修改之后.png
这里显示执行结果为undefined，即修改成功！

2. UserAgent信息修改

在我们开发的时候，使用selenium最常用的还是需要无头模式（headless），但是有一个问题是，在使用无头模式的时候，UserAgent信息可能会与正常用户的UA不一致，导致访问失败；这也就是为什么有的朋友会遇到，有头能正常访问，无头就出错的问题。

解决方法：

只需要给driver手动添加一个UserAgent信息即可

ua = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36'
chrome.add_argument(f"user-agent={ua}")