一、前言

前面两篇文章介绍了两种简单的刷流量方法，但是在实际应用上总会碰到许许多多的问题。比如，《python爬虫刷博客访问量教程二：欺骗第三方统计服务》的方法不是很完美，很多大型网站请求数非常多，请求的数据也许会加密混淆，这样的话，逐一分析会浪费很多时间。而且前面两种方法还不是模拟真正的浏览器，这时，就有了浏览器自动化的需求。使用代码控制浏览器访问某个链接，甚至可以设置不同的代理。这样不仅能够使网站的资源请求完整，还能节省很多工作量。这样做的缺点就是，速度慢，不能后台运行。而且网站打开速度取决于代理的速度。

二、安装必要插件

测试环境：Windows 10 + python 3.6.2

1. 安装Selenium

pip install selenium

2. 安装Requests

pip install requests

3. 安装配置Chrome WebDriver

每个版本支持的chrome版本是不一样的，必须要用支持的版本才能驱动浏览器。

官方网站被墙，用这个镜像可以下载全版本的：http://npm.taobao.org/mirrors/chromedriver

下面给出的是目前最新的2.3.7版本，支持的chrome版本是v64-66。其他版本可以自行去下载。

Windows版本：chromedriver_win32

Windows 安装方法：

下载压缩包，解压到任意文件夹，将该文件夹添加到系统PATH环境变量中。

Linux 安装方法：

把解压的文件放到 /usr/bin 目录下，并且修改好权限。

三、代码测试

目标：使用代码控制浏览器访问指定的链接。并且每次访问使用不同的代理。

代理：同样使用的是大象代理的api接口提取代理IP

import random

import requests

import time

from selenium import webdriver

import sys

import os

# 随机获取浏览器标识

def get_UA():

UA_list = [

"Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gecko) Chrome/18.0.1025.166 Safari/535.19",

"Mozilla/5.0 (Linux; U; Android 4.0.4; en-gb; GT-I9300 Build/IMM76D) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30",

"Mozilla/5.0 (Linux; U; Android 2.2; en-gb; GT-P1000 Build/FROYO) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",

"Mozilla/5.0 (Windows NT 6.2; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0",

"Mozilla/5.0 (Android; Mobile; rv:14.0) Gecko/14.0 Firefox/14.0",

"Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36"

]

randnum = random.randint(0, len(UA_list)-1)

h_list = UA_list[randnum]

return h_list

# 获取代理IP

def get_ip():

# 这里填写大象代理api地址，num参数必须为1，每次只请求一个IP地址

url = 'http://tvp.daxiangdaili.com/ip/?tid=你的订单号&num=1&delay=5&category=2'

response = requests.get(url)

response.close()

ip = response.text

print(ip)

return ip

if __name__ == '__main__':

url = "https://pingxonline.com/"

# 无限循环，每次都要打开一个浏览器窗口，不是标签

while 1:

# 调用函数获取浏览器标识, 字符串

headers = get_UA()

# 调用函数获取IP代理地址,这里获取是字符串，而不是像前两个教程获得的是数组

proxy = get_ip()

# 使用chrome自定义

chrome_options = webdriver.ChromeOptions()

# 设置代理

chrome_options.add_argument('--proxy-server=http://'+proxy)

# 设置UA

chrome_options.add_argument('--user-agent="'+headers+'"')

# 使用设置初始化webdriver

driver = webdriver.Chrome(chrome_options=chrome_options)

try:

# 访问超时30秒

driver.set_page_load_timeout(30)

# 访问网页

driver.get(url)

# 退出当前浏览器

driver.close()

# 延迟1~3秒继续

time_delay = random.randint(1, 3)

while time_delay > 0:

print(str(time_delay) + " seconds left!!")

time.sleep(1)

time_delay = time_delay - 1

pass

except:

print("timeout")

# 退出浏览器

driver.quit()

time.sleep(1)

# 重启脚本, 之所以选择重启脚本是因为，长时间运行该脚本会出现一些莫名其妙的问题，不如重启解决

python = sys.executable

os.execl(python, python, *sys.argv)

finally:

pass