selenium在爬虫上的实现

前言：

selenium简介：web应用程序测试的工具，它包含了测试的录制（Selenium IDE）、编写及运行（Selenium Remote Control）和测试的并行处理（Selenium Grid）。

主要功能：1.测试与浏览器的兼容性，即应用程序是否能够很好地工作在不同浏览器和操作系统上。2.测试系统功能，即创建回归测试检验软件功能和用户需求。3.支持自动录制动作和自动生成 .Net、Java、Perl等不同语言的测试脚本。4. selenium用于爬虫解决js渲染的问题。

1. chrome + selenium 实现点击搜索并截屏

代码实现：

from seleniumimport webdriver

from selenium.webdriver.chrome.optionsimport Options

import time

#创建一个参数对象，控制chrome以无界面模式打开

ch_options = Options()

ch_options.add_argument("--headless")

#禁用gpu加速

ch_options.add_argument("--disable-gpu")

#从chrome driver官网下载到本地并使用

chrome_driver =r'D:\software\chromedriver.exe'

# 在启动浏览器时加入配置

driver = webdriver.Chrome(options=ch_options,executable_path=chrome_driver)

#在360浏览器搜索框中进行搜索

driver.get('https://www.so.com/')

driver.find_element_by_id('input').send_keys('杭州市')

driver.find_element_by_id('search-button').click()

time.sleep(2)

#保存界面截图

driver.save_screenshot('./ch.png')

driver.quit()

实现效果：