爬取图片以及遇到的问题
以爬取zol的动漫壁纸为例：
动漫壁纸数量很大需要用循环来解决，自己下载壁纸的基本过程是
在总网页中选取链接--找到自己要的分辨率--下载及按网页中的名字重命名
分解问题：
1：在动漫页面中爬取列表中的各个壁纸子网页链接以及“下一页”对应的链接（函数循环访问下一页链接并记录子网页的链接，下一页链接）
2：在子网页连接中获取所需分辨率的链接（注：该链接要链接到一个纯图片的网页以便记录图片的编码）
3将图片编码储存在指定位置
import requests
import re
#引入第三方库
#第一步，获取列表中的子链接以及下一页的链接
def firststep( url ):
#定义函数名firststep，参数url是网址
pageHtml=requests.get(url)
#向url发送get请求
pageHtml.encoding='gb2312'
# 网页字符编码为gb2312，用encoding指定以gb2312的形式编码pageHtml
pageText=pageHtml.text
#记录文本
list=re.findall(r'<li class="photo-list-padding"><a.*?href="(.*?)".*?target="_blank".*?>',pageText)
#创建list列表用以储存正则表达式检索到的字符，
# .*? 正则的非贪婪匹配 ()捕捉括号里检索的文本到自动命名的组中
#正则的参考:https://www.jb51.net/tools/zhengze.html
imgList=[] #创建imgList空列表
for m in list:
n="http://desk.zol.com.cn"+m
imgList.append(n)
#for循环将正则捕捉到的文本补充成完整的网址
try:
next=re.findall(r'id="pageNext".*?href="(.*?)"',pageText)
nextUrl=["http://desk.zol.com.cn"+next[0]]
#这里当写成nextUrl="http://desk.zol.com.cn"+next时是字符串和列表相加会报错，
#如果写成nextUrl="http://desk.zol.com.cn"+next[0]将返回一个字符串
except:
nextUrl=['none']
#尝试捕捉下一页的链接，当下一页链接不存在时nextUrl是一个仅有‘none’的列表
return imgList,nextUrl
#返回列表中的子链接以及下一页的链接
#第二步：获取图片名，最大分辨率名，和分辨率的链接
def secondStep(imgUrl):
pageHtml=requests.get(imgUrl)
pageText=pageHtml.text
imgName = re.findall(r'id="titleName".*?>(.*?)<', pageText)
#图片名
try:
imgDPI=re.findall(r'href="/showpic/(.*?)',pageText)
#选出所有分辨率链接（DPI分辨率的简写）
maxDPI=["http://desk.zol.com.cn/showpic"+imgDPI[0]]
#最大分辨率为第一个，补全链接
DPIName=re.findall(r'href="/showpic/.*?" target="_blank">(.*?)</a>',pageText)
#分辨率名字
maxDPIName=[DPIName[0]]
#最大分辨率
except:
maxDPI=re.findall(r' .*?id="bigImg" src="(.*?)" ',pageText)
maxDPIName=["none"]
#尝试获取最大分辨率及链接 如果不存在则获取图片本身对应的链接
return imgName,maxDPIName,maxDPI
def thirdstep(imgName,maxDPIName,maxDPI):
pageHtml=requests.get(maxDPI[0])
pageContent=pageHtml.content
#获取图片的字节码（content）
#text是字符串 ，“text中存的是Beautifulsoup根据猜测的编码方式将content内容编码成字符串”。“而content返回的是bytes型也就是二进制的数据”
with open ("F:\\IMAGE\\"+imgName[0]+"-"+maxDPIName[0]+".jpg",'wb')as f:
#将图片保存在F盘的IMAGE文件夹中
#wb应该是（？）以二进制的形式写入数据
#当他是w时会显示write() argument must be str, not bytes，write参数必须是STR（字符），而不是字节
f.write(pageContent)
flag=1
a=b=0
url="http://desk.zol.com.cn/dongman/"
while( flag==1 ):
a=a+1
b=0
eveImg,nextUtl=firststep(url)
for imgUrlin eveImg:
b=b+1
imgName, maxDPIName, maxDPI=secondStep(imgUrl)
thirdstep(imgName, maxDPIName, maxDPI)
print("第",a,"页","第",b,"个")
print("success")
url=nextUtl[0]
if( url=="none" ):
flag=0
print("all success")
网友评论