python学习 二 05 爬一个图片网站-下载图片链接

python自我学习 二 05 爬一个图片网站-下载图片链接

 讨厌编程 2018-01-04 21:21

Python安装

python自我学习 一 python语法，及变量类型

python自我学习 二 爬一个图片网站上

python学习 二 02 爬一个图片网站，获得主链接网址，并保存

python学习 二 03 爬一个图片网站-获得所有分页网址

python学习 二 04 爬一个图片网站-解析文件，获得所有图片链接

下载图片链接

本节的主要任务是下载文件中获得的图片链接

为此我写了个函数

def downImg(httpPath,localPath):

实测中，考虑到有些链接不存在，有些链接超时，有些链接其它错误，所以一次下载不了，多次尝试。

而且使用request.urlretrieve(httpPath,localPath) 直接下载时，出现出现10060错误，于是使用request.urlopen(httpPath,timeout=60)，然后以读的方式进行下载。

我这的目录结构是这样的

第一步，读取所有的子文件夹

第二步，读取子文件夹下的img.txt

第三步，下载img.txt中的链接

为此，我又写了下面的函数

DownThumbnail 是下载缩略图，因为这个网站上，目前或的的这些链接对应的是缩略图。

运行后，就会发现，可以下载了

目前是单线程方式下载的缩略图

下一节介绍下多线程方式，下载高清图