废话先不多说，先上代码：
<pre class="hljs python">
<code class='python'>
import requests
from bs4 import BeautifulSoup
import os,re
import sys
reload(sys)
sys.setdefaultencoding('utf8')
url = 'http://www.bfpgf.com/yld'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers = { 'User-Agent' : user_agent }#写一个headers
def get_soup(url):#获取bs4的对象
r = requests.get(url,headers=headers) # 使用requests获取网页,在这添加请求头，应对反爬虫
print r.status_code
soup = BeautifulSoup(r.content, 'html.parser') # 把页面处理成bs的对象，好进行下一步操作
return soup#返回bs4对象
def download_img(url,page_number):
soup = get_soup(url)
img_urls = soup.article.find_all('img')
numerb_of_arr = len(img_urls)#获取当前页面图片的数量
title = soup.find_all('h1',attrs={'class':'article-title'})#获取到标题所在的标签
dir_name = title[0].a.text#设置文件夹的名字
if os.path.isdir(dir_name):#判断当前目录下是否有文件夹存在，不存在的话创建一个与标题名称相同的文件夹
pass
else:
os.mkdir(dir_name)
for index , img_url in enumerate(img_urls):#获取序列号方便写图片的名字
file_name_suffix = re.findall(r'.[^./:*?<>|rn]+$', img_url['src'])[0]#通过正则获取图片的格式
img_index = page_number + index#计算这是第几张图片
img_name = str(img_index) + str(file_name_suffix)#拼接出图片的名称
file_name = os.path.join(dir_name,img_name)
url_download_img = 'http://www.bfpgf.com' + img_url['src']
print '开始下载第' + ' ' + str(img_index+1) + ' ' + '张图片'
req = requests.get(url_download_img,headers=headers)
img = req.content
with open(file_name, 'wb') as f:
f.write(img)
page_number += numerb_of_arr#为了图片名称计算出之前页面有多少图片
if len(soup.find_all('a',attrs={'class':'nextpostslink'}))!=0:
next_url = soup.find_all('a',attrs={'class':'nextpostslink'})[0]['href']#下一页的地址
print next_url
download_img(next_url,page_number)
def get_target_url(url):
soup = get_soup(url)
target_urls = soup.find_all('h2')
for target_url in target_urls:# 在这调用下载图片的方法
print '\n' + '正在抓取' + ' ' + str(target_url.a['title']) + '\n'
download_img(target_url.a['href'],0)
if soup.find('li', attrs={'class': 'next-page'}).a:# 如果有下一页的话
print '\n' + '开始抓取下一页' + '\n'
next_page_url = soup.find('li', attrs={'class': 'next-page'}).a['href']
get_target_url(next_page_url)
else:
print '\n' + '全站抓取完成'
get_target_url(url)
</code>
这一次抓的还是一个开车网站，测试了一下还是需要添加headers的。
本来这周想直接上sracpy，然后看了几天关于它的教程，比如 廖雪峰 老师和大神 静觅 的，但是感觉自己没有需求，强行搞一个需求写起来实在不顺心，所以思前想后还是先别用scrapy了吧，虽然我都装好写了一个小小的爬虫了。
上次写的关于lofter想抓全站或者排名前几的摄影社的图片，可是实在搞不懂通用的标识，当然肯定是我太菜了，没有找到，不过没事，这次找到了<a href='http://www.bfpgf.com/yld/'>这个网站</a>
开车是我最喜欢的事儿了，更何况还能用代码飙车，运行程序之后会自动创建文件夹并且下载对应的图片到文件夹里，如图：
练习用的文件夹
说实话，还有一个问题没有完美解决，就是
如何判断当前文件已经存在，不需再次下载
因为现在实在有点晚，所以这个问题暂时不解决，留着明天看一看。
不过这次结局了上次1024无法下载图片的问题，也是明天我试试，原来下载图片也可以带headers啊，这么说的话requests比urllib好用多了。
为了写多页面的图片下载，我用了两次递归，直到没有下一页，程序就停止运行了。
运行中
<code>get_soup(url)</code>这个函数我更是用了两次，虽然没提高多大的效率，不过也是第一次在python里复用～还是挺开心的。
其余没有多大的问题，就是在urllib用urlretrieve下载的时候只能下载一个，然后让大侄子去运行却能全部下载，没办法，只能换了requests的下载并且带上了headers，然后就完美的运行成功了。
最后一句话送给大家
网友评论