前段时间，朋友圈里不知道为什么忽然刮起了一股晒18岁照片的风，不能免俗的我，自然也翻箱倒柜到处找起来以前的照片，由于我存有照片的移动硬盘已经损坏，于是就想起了当年非常火的一个社交类网站--人人网（校内网）。
说来也巧，那天我登陆人人网找照片时，网站也是奇慢无比，打开一张照片要花差不多两分钟，在好不容易找到一张满意的照片并发完朋友圈装逼后，不由得忽然担心起来如果某天网站不在了，岂不是我所有的照片就没了，于是就打算用爬虫把照片全存到电脑上。
分析了下人人网的网站，在输入用户名和密码后，利用requests库的get方法，手动添加cookies和header后，就可以很容易的获取所有照片的url。相册信息就在Request URL源代码里的Album List里。
人人网cookies
其实如果就满足于保存照片的话，到这里已经没啥好写了，具体的抓取方法都差不多，不论是利用scrapy框架还是简单的用requests库，都可以参照以前的代码来写。但是，我又想把这个下载照片的代码分享给好友使用，可总不能让好友先看完《Python教程-廖雪峰》之后再来用吧，这可相当的不友好。如何尽量用简单的语言教会用户使用我写的爬虫代码，就是我面临的主要问题了。
最简单的方法就是将代码打包成一个exe文件，这样就只需要简单的双击就可以执行了;但是关于网站登陆，目前还不太会处理，以往爬去需要登陆的网站都是先在网站上登陆后，再手动复制cookies到代码中来实现的，这如果让另一个没有基础的人来弄的话，可能就要麻烦很多了。
百度了一番之后，所幸在一篇知乎专栏里发现了一种比较偷懒的解决登陆的方法《Python模拟登陆万能法-微博|知乎》，简单来说就是通过python的selenium库来操作浏览器模拟手动登陆网站的全过程，然后通过get_cookies()方法获取登陆后的cookies，然后再将cookies传递给requests库，从而实现后续的爬取。
selenium示意图
selenium简介
- selenium是一个Web应用的自动化测试工具，它可以模拟真实用户对浏览器的操作，支持多种语言，包括C、JAVA、Perl、Ruby、PHP以及Python等。
- selenium支持驱动多种浏览器，包括ie、chrome、火狐、safari、opera等。
- Python中selenium通过find_element()的方法，对浏览器页面中的元素进行定位，其定位可以借助xpath、id、name、class、css selector等等方式实现，然后可以对定位的元素进行文本抓取以及模拟鼠标或键盘操作。selenium还可以通过其它方式，例如wait来保证对元素的操作可以正确进行。
Python目前可以通过pyinstaller库来实现代码打包成exe的功能，pyinstaller库使用起来比较简单，具体方法如下，除此以外我也未再多做研究。
1.在cmd命令行中输入pip install pyinstaller来安装pyinstaller库。
2.在python目录的Scripts文件夹中找到安装好的pyinstaller，用鼠标将其拖入cmd中，然后输入-F，再将python代码文件用鼠标拖到后面，Enter确认即可。
3.若想更改图标，在第二步中再额外输入-i，并将图标文件.ico拖到后面。
- cmd命令行的输入格式为：
xxx\xxx\xxx\pyinstaller -F xxx\xxx\代码文件.py -i xxx\xxx\xxx\图标.ico
下面具体开始码代码。
from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
#selenium操作浏览器需要下载相应的驱动。
#我用的是chrome浏览器，因此需要下载相应版本的chromedriver.exe。
chromepath = r"C:\chromedriver.exe"
#现在人人网的首页有太多的图片了，为了加快载入速度添加一个浏览器设置，设置为不加载图片。
chrome_opt = webdriver.ChromeOptions()
prefs={"profile.managed_default_content_settings.images":2}
chrome_opt.add_experimental_option("prefs",prefs)
browser = webdriver.Chrome(chromepath,chrome_options=chrome_opt)
wait = WebDriverWait(browser,3)
#打开人人网主页
browser.get('http://www.renren.com/')
#定位到用户名输入框，通过send_keys的方式，输入用户名
login = wait.until(
EC.presence_of_element_located((By.XPATH,"//input[@name='email']"))
)
login.send_keys(login_account)
#定位到密码输入框，通过send_keys的方式，输入密码
pwd = wait.until(
EC.presence_of_element_located((By.XPATH,"//input[@id='password']"))
)
pwd.send_keys(password)
#勾选保存密码按钮
browser.find_element_by_xpath("//form[@id='loginForm']/dl[@class='savepassword clearfix']/dt/label[@class='labelCheckbox']/input[@id='autoLogin']").click()
#点击确认并登陆
browser.find_element_by_xpath("//form[@id='loginForm']/dl[@class='bottom']/input[@id='login']").click()
#不可缺少！
cookie_dic = {}
while 'ln_uact' not in cookie_dic.keys():
cookies = browser.get_cookies()
print('登陆Cookies获取中...')
# 将selenium获取的cookies格式转换为requests所识别的格式
for i in cookies:
cookie_dic[i['name']] = i['value']
print('登陆Cookies获取完毕，准备开始抓取相片...')
登陆人人网并获取cookies的代码就已经完成了，各个部分的功能已在代码里注释了，其中值得说明的一点是最后关于cookies的部分。我用了while循环来判断cookies是否正确获取，之所以这么做是因为从点击登陆按钮到页面完全加载是需要一定的时间，若在页面未完全加载的情况下获取cookies，会发现cookies中少了一些参数，其中就包括了lu_act，此时获取的cookies则不能用于登陆。
- 这里也可以简单的通过time.sleep()来设置一个等待时间，等待页面加载完毕后来获取cookies，但是这样代码就不够健壮，可能受到网络带宽因素的影响。
- 另外也可以通过selenium自带的显示等待WebDriverWait来实现，通过监视页面上某个元素的状态来判断页面是否完全加载。我没有采取这种方法是因为尝试着用了几个元素作为判断依据都失败了。。
剩下的代码则是简单的用requests库进行爬取，方法还是对网页元素以及url进行分析，各个部分在爬虫源代码中都已经有了详细注释，就不再展开细说。需要说明的是，获取相片信息和下载相片要用到两个headers，因为二者的host信息不同。
#两个headers，第一个headers带有host值，用于获取相片信息。
#第二个headers不能带有前面的host值，用于下载相片。
headers = {'Host':'photo.renren.com',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'}
headers1 = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36'}
最后来张运行的效果图。
屏幕截图(4).png
最后是源码Python爬虫代码--人人网照片下载
网友评论