爬虫及web自动化SoEasy -- 使用python sele

初学python的时候常听到python爬虫，用selenium包，较少提及和注意到seleniumIDE的。

初学爬虫，常因为现在的页面设计的很复杂，对于外行很难马上定位到页面相应代码元素（需初步掌握HTLM/CSS/XPATH/JS，还有理解网页组织加载方式），大部分时候便放弃了。用了下seleniumIDE，真的强大，可以录制和重现页面操作运行过程，很方便的定位页面元素，并且转换成代码形式导出，极大地方便了网页处理脚本编写。

最近工作中很多重复性的web工具处理，想看能否用脚本进行简化，便认真去了解了下selenium，看了些博客资料后，个人习惯还是去看书（书籍介绍比较系统）便去搜了lib gen 下，才了解到seleniumIDE的。

python包下载较慢，工具包大的容易因为网络问题而失败，建议设置国内镜像源。

预备工作：

• python3
• selenium相关(包括安装过程中提示的依赖包)以及chromedriver，selenium中chromedriver设置
• 浏览器插件seleniumIDE seleniumIDE releases下载地址
• pycharm 或者其他IDE，方便运行调试分析

使用熟悉

• selenium包简单使用，如打开百度
• seleniumIDE 自行了解参考官网帮助文档，录制一个简单的网页操作过程，试运行，和导出代码看看，初步了解对应每一步操作的代码。
  注意seleniumIDE回放录制示例，一些步骤容易出现失败（原因暂不清楚，相应导出代码语句在python selenium下运行时没啥问题的），可以将导出python代码进行改造，在python selenium环境下试运行，和调试修改，调试过程中可配合seleniumIDE来定位元素，并导出相关代码做参考。

一个示例 模拟实验楼网站登录

• seleniumIDE建立测试套与case过程此处省略，可参考官网文档帮助

• seleniumIDE中获取指定元素 获取指定元素 转换代码后，有时会出现python selenium目标元素找不到，可以变换下元素的描述方式 元素多种方式
• 导出代码

  下面是我学习时导出代码，导出来的是pytest用例形式，代码可能并不是百分百OK的，可以看看具体逻辑，然后根据自己需要去调试修正

# Generated by Selenium IDE
import pytest
import time
import json
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.support import expected_conditions
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.keys import Keys

class Test00():
  def setup_method(self, method):
    self.driver = webdriver.Chrome()
    self.vars = {}
  
  def teardown_method(self, method):
    self.driver.quit()
  
  def test_00(self):
    # Test name: 00
    # Step # | name | target | value | comment
    # 1 | open | / |  | 
    self.driver.get("https://www.shiyanlou.com/")
    # 2 | setWindowSize | 1050x708 |  | 
    self.driver.set_window_size(1050, 708)
    # 3 | click | linkText=登录 |  | 
    self.driver.find_element(By.LINK_TEXT, "登录").click()
    # 4 | click | id=__BVID__365 |  | 
    self.driver.find_element(By.ID, "__BVID__365").click()
    # 6 | type | id=__BVID__365 | xx@126.com | 
    self.driver.find_element(By.ID, "__BVID__365").send_keys("xx@126.com")
    # 7 | click | id=__BVID__366 |  | 
    self.driver.find_element(By.ID, "__BVID__366").click()
    # 8 | type | id=__BVID__366 | xxxxxx | 
    self.driver.find_element(By.ID, "__BVID__366").send_keys("xxxxxxx")

• 最终调试修改完后成功模拟登陆的python源码 (个人运行需要把用户账号和密码改为自己的)，基本是和导出来的一样的
  代码中做了几处保护适配，操作元素之前确保元素已加载成功WebDriverWait(driver, 30).until(expected_conditions.presence_of_element_located( (type, elem)))
  还有一点是元素定位最好使用xpath方式，更好的是先定位大的元素，再根据大的元素定位其内部元素的方式，这样更准确，不易出错

# -*- coding: utf-8 -*-
# -*- coding: utf-8 -*-
from selenium import webdriver
from selenium.webdriver.common.by import By
import json
import time

from selenium.webdriver.support import expected_conditions
from selenium.webdriver.support.wait import WebDriverWait

def safeClickElemnt(driver, type, elem):
    WebDriverWait(driver, 30).until(expected_conditions.presence_of_element_located(
        (type, elem)))
    driver.find_element(type, elem).click()

def safeSendkeys(driver, type, elem, keys):
    WebDriverWait(driver, 30).until(expected_conditions.presence_of_element_located(
        (type, elem)))
    driver.find_element(type, elem).send_keys(keys)

driver = webdriver.Chrome()
driver.get("https://www.shiyanlou.com/")
safeClickElemnt(driver, By.LINK_TEXT, "登录")

# 4 | click | id=__BVID__365 |  |
safeClickElemnt(driver, By.XPATH, "//div/input")
# 6 | type | id=__BVID__365 | t0@126.com |
safeSendkeys(driver, By.XPATH, "//div/input", "t0@126.com")

# 7 | click | id=__BVID__366 |  |
safeClickElemnt(driver, By.XPATH, "//div[2]/input")

# 8 | type | id=__BVID__366 | t7 |
safeSendkeys(driver, By.XPATH, "//div[2]/input", "t7")

# 13 | click | xpath=//button[contains(.,'进入实验楼')] |  |
safeClickElemnt(driver, By.XPATH, "//button[contains(.,\'进入实验楼\')]")

WebDriverWait(driver,5)
time.sleep(50)
cookies = driver.get_cookies()
print(type(cookies))
print(cookies)

# print ("".join(cookies))
f = open('shiyanloucookie.txt', 'w')
f.write(json.dumps(cookies))
f.close()

WebDriverWait(driver, 10)

• 不足 用户名密码是代码中明文的方式
  

  尝试过cookie获取保存方式登陆，最开始不知为何用get_cookie获取出来是空的，单步调试的时候用监视方法执行driver.get_cookies()可以获取到cookies，后来查了很久找到解决方法先执行time.sleep(50)，等待cookies生成，然后再调用就能得到cookies了； cookies

还有一种解决方法是，让程序等待在那里，手动输入用户名密码，然后继续。

• 关于网页内容信息爬取

可以单步调试查看find_element 返回的元素属性，一般在text字段中，私下试了几个招聘网站，多数页面都是div分块，配合table td以及列表ul/ui等元素布局的方式来呈现，摸索下都是成规律的。

这种爬虫方式更像是自动化模拟查阅网页，获取感兴趣信息做记录。信息类网站网页布局都是有规律一致的，熟路了后，可以使用多线程同时访问多个页面爬取。

seleniumIDE 还有很多强大的地方，有待探索。