一、前言
前面两篇文章介绍了两种简单的刷流量方法，但是在实际应用上总会碰到许许多多的问题。比如，《python爬虫刷博客访问量教程二：欺骗第三方统计服务》的方法不是很完美，很多大型网站请求数非常多，请求的数据也许会加密混淆，这样的话，逐一分析会浪费很多时间。而且前面两种方法还不是模拟真正的浏览器，这时，就有了浏览器自动化的需求。使用代码控制浏览器访问某个链接，甚至可以设置不同的代理。这样不仅能够使网站的资源请求完整，还能节省很多工作量。这样做的缺点就是，速度慢，不能后台运行。而且网站打开速度取决于代理的速度。
二、安装必要插件
测试环境：Windows 10 + python 3.6.2
1. 安装Selenium
pip install selenium
2. 安装Requests
pip install requests
3. 安装配置Chrome WebDriver
每个版本支持的chrome版本是不一样的，必须要用支持的版本才能驱动浏览器。
官方网站被墙，用这个镜像可以下载全版本的：http://npm.taobao.org/mirrors/chromedriver
下面给出的是目前最新的2.3.7版本，支持的chrome版本是v64-66。其他版本可以自行去下载。
Windows版本：chromedriver_win32
Windows 安装方法：
下载压缩包，解压到任意文件夹，将该文件夹添加到系统PATH环境变量中。
Linux 安装方法：
把解压的文件放到 /usr/bin 目录下，并且修改好权限。
三、代码测试
目标：使用代码控制浏览器访问指定的链接。并且每次访问使用不同的代理。
代理：同样使用的是大象代理的api接口提取代理IP
import random
import requests
import time
from selenium import webdriver
import sys
import os
# 随机获取浏览器标识
def get_UA():
UA_list = [
"Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19",
"Mozilla/5.0 (Linux; U; Android 4.0.4; en-gb; GT-I9300 Build/IMM76D) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30",
"Mozilla/5.0 (Linux; U; Android 2.2; en-gb; GT-P1000 Build/FROYO) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
"Mozilla/5.0 (Windows NT 6.2; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0",
"Mozilla/5.0 (Android; Mobile; rv:14.0) Gecko/14.0 Firefox/14.0",
"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36"
]
randnum = random.randint(0, len(UA_list)-1)
h_list = UA_list[randnum]
return h_list
# 获取代理IP
def get_ip():
# 这里填写大象代理api地址，num参数必须为1，每次只请求一个IP地址
url = 'http://tvp.daxiangdaili.com/ip/?tid=你的订单号&num=1&delay=5&category=2'
response = requests.get(url)
response.close()
ip = response.text
print(ip)
return ip
if __name__ == '__main__':
url = "https://pingxonline.com/"
# 无限循环，每次都要打开一个浏览器窗口，不是标签
while 1:
# 调用函数获取浏览器标识, 字符串
headers = get_UA()
# 调用函数获取IP代理地址,这里获取是字符串，而不是像前两个教程获得的是数组
proxy = get_ip()
# 使用chrome自定义
chrome_options = webdriver.ChromeOptions()
# 设置代理
chrome_options.add_argument('--proxy-server=http://'+proxy)
# 设置UA
chrome_options.add_argument('--user-agent="'+headers+'"')
# 使用设置初始化webdriver
driver = webdriver.Chrome(chrome_options=chrome_options)
try:
# 访问超时30秒
driver.set_page_load_timeout(30)
# 访问网页
driver.get(url)
# 退出当前浏览器
driver.close()
# 延迟1~3秒继续
time_delay = random.randint(1, 3)
while time_delay > 0:
print(str(time_delay) + " seconds left!!")
time.sleep(1)
time_delay = time_delay - 1
pass
except:
print("timeout")
# 退出浏览器
driver.quit()
time.sleep(1)
# 重启脚本, 之所以选择重启脚本是因为，长时间运行该脚本会出现一些莫名其妙的问题，不如重启解决
python = sys.executable
os.execl(python, python, *sys.argv)
finally:
pass
效果图：
这段代码稳定性还不错，超时等错误就会重启脚本继续获取新的代理IP。保证脚本能够长时间运行。
系列教程：
网友评论