最近接到一个根据关键字爬取相关网站的资源并下载，demo是爬取高考网的相关资源
这里我采用了两种思路：
策略1：首先想到的是通过selenium来模拟实际操作，下载操作可以模拟点击操作
def download(url):
url = 'http://tiku.gaokao.com/search/type0/' + '关键字输入'
driver = webdriver.Chrome(executable_path="G:/Download/AutoCrowerByKeyWords/data/drive/chromedriver.exe")
driver.maximize_window()
driver.set_page_load_timeout(5)
ss = driver.get(url)
# print(driver.page_source) # 打印网页源代码
time.sleep(1)
label_list = driver.find_elements_by_link_text("下载")
for itemin label_list:
item.click()
这里需要注意的是，可能会出现要求报错，显示driver不匹配的问题，可以自己下载一个，然后指定路径，即可解决
这种方法有个问题是，下载的文件会存在一个默认指定的路径，而且我没有找到如何修改这个路径的方法，有知道的可以私信我，谢谢
而且模拟打开网页，会比较慢，有的时候可能会有别的问题，所以我又采用了下面的方法
策略2：
1 直接用requests，当然也可以用urllib urllib2 urllib3，优先还是推荐用requests
import requests
from bs4import BeautifulSoup
url = base_url + search_key
response = requests.get(url)
web_page = response.content
soup = BeautifulSoup(web_page, 'html.parser')# 使用python默认的解析器
curr_titles = []
curr_middle_websites = []
curr_introduction_contents = []
titles = soup.find_all('a', class_="c-l2")# download_url = soup.find_all('a')
for titlein titles:
curr_titles.append(title.get_text())
curr_middle_websites.append(title.get('href'))
introduction_contents = soup.find_all('p', class_="c-b6 ti2")
for idcin introduction_contents:
curr_introduction_contents.append(idc.get_text())
通过直接获取html页面内容，并解析实际的内容即可
对于下载的部分，一种是采用requests.get()浏览下载地址，然后将返回的内容写进文件即可，这里注意，如果下载的是doc文件，那你直接将地址保存为doc后缀的文件即可，我尝试过可以正常保存打开，这种方法可以指定保存路径，但是你无法获取下载文件的类型，需要手动设置，如果下载的是doc，保存为docx，那么文件可以保存，但是无法打开，其他的没有试过
2 推荐采用wget的方式
def download_with_requests(url, file_name):
ss = requests.get(url)
with open(save_path, 'wb')as f:
f.write(ss.content)
wget可以返回文件名及文件格式后缀，我发现中文文件名会有乱码，所以需要自己手动重置，或者修改编码格式，
def download_with_wget(file_name, url, key):
# filename = wget.download(url, out=save_path) # 可以直接指定输出路径，但是不确定文件后缀类型
filename = wget.download(url)# 中文文件名会出现乱码，但是可以知道文件类型[tiku.gaokao.com]é«�ä¿ç»�ä¹ .doc
suffix_type ='.' + filename.split('.')[-1]
print(suffix_type)
file_name += suffix_type
save_path = os.path.join(save_dir, file_name)
以上如果需要查看源代码，可以访问我的项目，欢迎star https://github.com/ares5221/Python-Crawler-Projects/tree/master/AutoCrowerByKeyWords
3，urllib requests方式
import urllib.request
url ='https://files.cnblogs.com/files/alex-bn-lee/ESRI_01.zip'
# 需要自定义文件名称
urllib.request.urlretrieve(url, "demo.zip")
4 通过打开浏览器自动下载，需要控制键盘和鼠标，这个我没试过
import pynput, webbrowser, time
from pynput.mouse import Button
from pynput.keyboard import Key
mouse =pynput.mouse.Controller()
keyboard =pynput.keyboard.Controller()
url ='https://files.cnblogs.com/files/alex-bn-lee/ESRI_01.zip'
# 打开网页
webbrowser.open(url)
# 反应时间
time.sleep(2)
keyboard.press(Key.enter)
keyboard.release(Key.enter)
time.sleep(1)
mouse.click(Button.left)
# 通过 Ctrl+w 快捷键删除当前页面
with keyboard.pressed(Key.ctrl):
keyboard.press('w')
keyboard.release('w')
网友评论