石头的作业~第一周第四节练习项目：爬取霉霉图片

实战计划0430-石头的练习作业

练习的要求

练习要求

效果如下：

抓取的图片

实现代码：

__author__ = 'daijielei'


#requests用于抓取html页面，BeautifulSoup用于html页面的处理，urllib.request用于将图片的url连接保存到本地
from bs4 import BeautifulSoup
import requests
import time
import urllib.request



#header这边并不实际需要
#url = 'http://weheartit.com/inspirations/taylorswift?scrolling=true&page='
header = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.110 Safari/537.36'
}


#saveImgFromUrl将图片从URL上保存到本地
def saveImgFromUrl(url):
    filename = "image/"+str(url).replace("http://data.whicdn.com/","").replace("/","")#URL地址格式高度相似，故而用这种简单方式
    urllib.request.urlretrieve(url,filename)#该函数提供URL和本地地址即可保存
    print("save:"+filename+"    from:"+url)


#getPageInfo用于根据从动态加载的页面中获取图片的地址信息
#测试用url = 'http://weheartit.com/inspirations/taylorswift?scrolling=true&page=1'
def getPageInfo(url):
    webData = requests.get(url,headers = header)
    soup = BeautifulSoup(webData.text,'lxml')
    imgs = soup.select('a > img[class="entry_thumbnail"]')
    time.sleep(2)
    for img in imgs:
        imgUrl = img.get('src')
        saveImgFromUrl(imgUrl)

#getPageFromNum在指定页码范围调用getPageInfo抓取图片信息
def getPageFromNum(start=0,end=5):
    url = 'http://weheartit.com/inspirations/taylorswift?scrolling=true&page='
    for i in range(start,end):
        getPageInfo(url+str(i))



#入口
if __name__ == '__main__':
    getPageFromNum(0,1)

思考、笔记、总结：

1、实现的总体思路比较简单，三步走，分了三个函数去实现

1、获取页码范围内的信息
def getPageFromNum(start=0,end=5):

2、从对应的url里提取图像的地址
def getPageInfo(url):

3、从图片url的地址提取图片并保存到本地
def saveImgFromUrl(url):

2、和之前的课程相比，这个练习有不同的地方就是需要将图片从地址上抓取下来，其实实现并不难，有几个小地方要注意一下

a、用的是urllib.request.urlretrieve来下载文件，第一个参数是要下载的图像的url，第二个参数是保存到本地的路径
b、因为urlhttp://data.whicdn.com/images/238487192/superthumb.jpg的最后的文件名都是相同的，所以不能有split分出最后一个来作为文件名，故而做了些简单操作来转换保存的文件名


def saveImgFromUrl(url):
    filename = "image/"+str(url).replace("http://data.whicdn.com/","").replace("/","")#URL地址格式高度相似，故而用这种简单方式
    urllib.request.urlretrieve(url,filename)#该函数提供URL和本地地址即可保存
    print("save:"+filename+"    from:"+url)