Python3 Selenium&Chrome实战:动态爬取51

作者: 戎码虫 | 来源:发表于2018-11-04 16:09 被阅读0次

Selenium （浏览器自动化测试框架）介绍

Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari、Google Chrome、Opera、Android等。
这个工具的主要功能包括：
测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。
测试系统功能——创建回归测试检验软件功能和用户需求。支持自动录制动作和自动生成 .Net、Java、Perl等不同语言的测试脚本。

使用

网页调试

用python写爬虫的时候，主要用的是selenium的Webdriver，抓取51job网站招聘信息

打开谷歌浏览器在51job输入关键词进行搜索，如下图：

招聘网站信息

打开浏览器按F12进入浏览器开发模式，如下图：

查看需要标签源代码

编写正则表达式

获取需要抓取内容，进行正则表达式匹配，51job抓取数据其中包含特殊字符需要两次正则，正常只要需要写一次正则就行了

比如拉钩网：

  webStr = '''
       <a id="tab_pos" class="active" rel="nofollow" href="javascript:;">职位 ( <span>500+</span> ) </a>
  '''
    # 正则表达式    ()只要括号内的数据
    restr = "<span>(\\d+)\+</span>"

51job匹配：

import re

# 从网页获取需要抓取内容
webStr = '''
        <div class="rt">
               共1204条职位
           </div>
   '''
# 如果正则字符抓不到字符考虑其中含有其他字符，全匹配标签中的字符
restr = """<div class="rt">([\s\S]*?)</div>"""
regex = re.compile(restr, re.IGNORECASE)
myList = regex.findall(webStr)
print("原始数据：",myList[0])

# 去掉字符串前后左右的空格
newStr = myList[0].strip()
print("去掉前后字符串：",newStr)

# ()只要括号内的数据
restr = "(\\d+)"
regex = re.compile(restr, re.IGNORECASE)
myList = regex.findall(newStr)
print("去掉中文之后的关键数字：",myList[0])

正则表达式解释：

# 可以匹配文档中任何一个位置
# \s 空白符
# \S 非空白符
# [\s\S]任意字符
# [\s\S]* 0个到任意多个字符
# [\s\S]*?   0个字符，匹配任何字符前的位置。
# 正则表达式中 \s代表一个空白字符（可能是空格、制表符、其他空白）。
# \\s代表查找两个字符\和s，因为\在正则中有特殊意义，所有需要转义，写成了\\

运行结果

Url分析

https://search.51job.com/list/070200,000000,0000,00,9,99,Android,2,1.html?lang=c&stype=&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&providesalary=99&lonlat=0%2C0&radius=-1&ord_field=0&confirmdate=9&fromType=&dibiaoid=0&address=&line=&specialarea=00&from=&welfare=

提取关键词

下载驱动

我们用Chrome进行测试，需要下载谷歌驱动chromedriver.exe，才能打开浏览器，chromedriver的下载地址:

chromedriver与chrome(谷歌浏览器的版本)的对应关系表：

ChromeDriver版本	Chrome版本
v2.43	v69-71
v2.42	v68-70
v2.41	v67-69
v2.40	v66-68
v2.39	v66-68
v2.38	v65-67
v2.37	v64-66
v2.36	v63-65

注意：

需要特别注意是浏览器与驱动之间版本对应，不对应需要升级浏览器，或者找到对应驱动

谷歌浏览器版本

根据Chrome版本，我这选择ChromeDriver v2.43版本，直接把chromedriver.exe放到python脚本的文件夹下面（这样简单粗暴，也可以放浏览器目录，配好环境变量，或者.py写好引用路径）

脚本路径

报错信息

通常由两种问题引起的：

ChromeDriver.exe驱动有问题(包括版本，路径等等)

Chrome.exe本身有问题。

代码实现

import re
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# 通过获取关键字职位数量
# webStr = '''
#     <div class="rt">
#            共100000条职位
#       </div>
# '''
def numberPositionsByKeyword(searchWord):
    # 创建chrome参数对象
    chrome_options = Options()
    # 把chrome设置成无界面模式,不论windows还是linux都可以，自动适配对应参数
    chrome_options.set_headless()
    # 模拟浏览器打开网页
    url = "https://search.51job.com/list/070200,000000,0000,00,9,99," + searchWord + ",2,1.html?lang=c&stype=&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&providesalary=99&lonlat=0%2C0&radius=-1&ord_field=0&confirmdate=9&fromType=&dibiaoid=0&address=&line=&specialarea=00&from=&welfare="
    browser = webdriver.Chrome(chrome_options = chrome_options)
    browser.get(url)
    # 设置智能等待时间
    browser.implicitly_wait(20)
    pagestr = browser.page_source
    # 正则表达式    ()只要括号内的数据
    restr = """<div class="rt">([\s\S]*?)</div>"""
    regex = re.compile(restr, re.IGNORECASE)
    myList = regex.findall(pagestr)
    changeStr = myList[0].strip()
    restr = "(\\d+)"
    regex = re.compile(restr, re.IGNORECASE)
    myList = regex.findall(changeStr)
    browser.quit()
    return myList[0]

print(numberPositionsByKeyword("Android"))

运行结果：

运行结构

切换城市实现

城市编码

点击城市，出现选择城市的对话框，获取城市当中的Value中值

城市编码

获取城市编码

Selenium元素查找

列举一下常用的查找元素方法：
find_element_by_name
find_element_by_id
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector

HTML版如下：

对比

思路： 获取按钮属性-->模拟点击浏览器城市输入框--> 获取按钮id-->遍历id里面的value

获取输入属性

button = browser.find_element_by_xpath("//div[@class='ush top_wrap']//div[@class='el on']/p\
[@class='addbut']//input[@id='work_position_input']").click()

城市id

# 定义一个空字典
dic = {}
# 找到城市,和对应的城市编号
find_city_elements = browser.find_elements_by_xpath("//div[@id='work_position_layer']//div[@id='work_position_click_init']//\
div[@id='work_position_click_center_right_list_000000']//tbody/tr/td")
for element in find_city_elements:
    number = element.find_element_by_xpath("./em").get_attribute("data-value")  # 城市编号
    city = element.find_element_by_xpath("./em").text  # 城市
    # 添加到字典
    dic.setdefault(city, number)

路径写的越详细查找效率越高

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import json

# 设置selenium使用chrome的无头模式
chrome_options = Options()
chrome_options.set_headless()
browser = webdriver.Chrome(options=chrome_options)
cookies = browser.get_cookies()
browser.delete_all_cookies()
browser.get('https://www.51job.com/')
browser.implicitly_wait(20)

# 找到城市选择框,并模拟点击
button = browser.find_element_by_xpath("//div[@class='ush top_wrap']//div[@class='el on']/p\
[@class='addbut']//input[@id='work_position_input']").click()

# 选中城市弹出框
# browser.current_window_handle

# 定义一个空字典
dic = {}

# 找到城市,和对应的城市编号
find_city_elements = browser.find_elements_by_xpath("//div[@id='work_position_layer']//div[@id='work_position_click_init']//\
div[@id='work_position_click_center_right_list_000000']//tbody/tr/td")
for element in find_city_elements:
    number = element.find_element_by_xpath("./em").get_attribute("data-value")  # 城市编号
    city = element.find_element_by_xpath("./em").text  # 城市
    # 添加到字典
    dic.setdefault(city, number)
browser.close()
print(dic)

# 写入文件
with open('city.txt', 'w', encoding='utf8') as f:
    f.write(json.dumps(dic, ensure_ascii=False))

运行结果：

运行结果

将城市对应的id先暂存本地数据库，方便后面使用

import re
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import json

# 通过获取关键字职位数量
# webStr = '''
#     <div class="rt">
#            共100000条职位
#       </div>
# '''
def numberPositionsByKeyword(city, searchWord):
    # 创建chrome参数对象
    chrome_options = Options()
    # 把chrome设置成无界面模式,不论windows还是linux都可以，自动适配对应参数
    chrome_options.set_headless()

    # 打开城市对应编号文件
    with open("city.txt", 'r', encoding='utf8') as f:
        city_number = f.read()
        # 使用json解析文件
        city_number = json.loads(city_number)

    cityId = 0
    try:
        cityId = city_number[city]
    except KeyError:
        print("暂不支持该城市")
        return

    # 模拟浏览器打开网页
    url = "https://search.51job.com/list/"+cityId+",000000,0000,00,9,99," + searchWord + ",2,1.html?lang=c&stype=&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&providesalary=99&lonlat=0%2C0&radius=-1&ord_field=0&confirmdate=9&fromType=&dibiaoid=0&address=&line=&specialarea=00&from=&welfare="
    browser = webdriver.Chrome(chrome_options=chrome_options)
    browser.get(url)
    # 模拟浏览器打开网页
    browser.implicitly_wait(20)
    pagestr = browser.page_source
    # 正则表达式    ()只要括号内的数据
    restr = """<div class="rt">([\s\S]*?)</div>"""
    regex = re.compile(restr, re.IGNORECASE)
    myList = regex.findall(pagestr)
    changeStr = myList[0].strip()
    restr = "(\\d+)"
    regex = re.compile(restr, re.IGNORECASE)
    myList = regex.findall(changeStr)
    browser.quit()
    return city, myList[0]

print(numberPositionsByKeyword("北京","Android"))

运行结果

总结

这个demo需要很多需要完善的地方，后面再持续更新。。。

网友评论

本文标题：Python3 Selenium&Chrome实战:动态爬取51

本文链接：https://www.haomeiwen.com/subject/hvekxqtx.html

延伸阅读

深度阅读

您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

Python3 Selenium&Chrome实战:动态爬取51

Selenium （浏览器自动化测试框架）介绍

使用

网页调试

编写正则表达式

Url分析

下载驱动

chromedriver与chrome(谷歌浏览器的版本)的对应关系表：

注意：

代码实现

切换城市实现

获取城市编码

Selenium元素查找

总结

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读