python网络爬虫7：获取真正的源代码

用常规手段对网站进行数据挖掘难度很大，通过Selenium库则可以较容易地获取网站信息。

from selenium import webdriver

browser = webdriver.Chrome()

browser.get('https://www.baidu.com/')

# browser.maximize_window()  # 窗口最大化，使用少

browser.quit()

不打开模拟人机浏览器获取源代码

from selenium import webdriver

import time

browser = webdriver.Chrome()

browser.get("https://www.baidu.com/")

browser.find_element_by_xpath('//*[@id="kw"]').send_keys('python')

browser.find_element_by_xpath('//*[@id="su"]').click()

time.sleep(3)   # 如果还提取不到，可增加数值

data = browser.page_source

print(data)