虽然老师给的网址打不开，但是我找到了另一个动态加载的图片网站：
堆糖小朋友，一个美腻的图片库：
堆糖
点击查看更多，就会进入有动态加载的部分
动态加载部分
————————我们的目标是：把这里的图片下载到本地！————————
先上爬取结果
文件夹
源代码
from urllib.request import urlretrieve
from bs4 import BeautifulSoup
import time
import requests
def get_url(path,i):
respond = requests.get(path)
json_data = respond.json()
object_list = json_data['data']['object_list']
images = []
for object in object_list:
i = i + 1
img = object['photo']['path']
images.append(img)
time.sleep(2)
name ='C:/Users/Administrator/PycharmProjects/untitled/new/'+str(i)+'.jpg'
urlretrieve(img,name)
print(i, ' ', img)
paths = ['http://www.duitang.com/napi/index/hot/?include_fields=top_comments%2Cis_root%2Csource_link%2Citem%2Cbuyable%2Croot_id%2Cstatus%2Clike_count%2Csender%2Calbum&limit=24&start={}&_=146919911974{}'.format(i,j) for i,j in zip(range(24,73,24),range (1,4))]
i1 = 0
for path in paths:
time.sleep(2)
get_url(path,i1)
i1 = i1 + 24
好像也没有很长
详细笔记
- 动态加载的网址在这里查找，多复制几个查看规律
网址查找
- 在这里，我们的网址有两个变量，所以format也有两个变量，要实现二者的同步增长，我用了zip来控制两个列表
paths = ['http://www.duitang.com/napi/index/hot/?include_fields=top_comments%2Cis_root%2Csource_link%2Citem%2Cbuyable%2Croot_id%2Cstatus%2Clike_count%2Csender%2Calbum&limit=24&start={}&_=146919911974{}'.format(i,j) for i,j in zip(range(24,73,24),range (1,4))]
- 然后我们发现，一直以为用的BeautifulSoup无法正确解析网页，select和find_all都只输出空列表。这就很着急了，然后我去请教了老师，发现该url得到的并非html文件，而是json
（用print(respond.headers[''Content-Type'']）查看获得文件） - json文件无法用BeautifulSoup解析，直接.json（）即解析完毕。
- 然后过滤选择某一标签/属性的内容，需要用[]来进行选择
json_data = respond.json()
object_list = json_data['data']['object_list']
- 同时要小心返回文件中很多列表，不能直接用[]，会有错误提示，需要用for循环去分离里面的属性
- 下载图片用的是urllib库，用法如下
from urllib.request import urlretrieve
img = '图片网址'
name = '保存路径/文件名.jpg'
urlretrieve(img,name)
- That's all~Thank you
(后来问同学，发现另一种得到图片地址的方法，等我测试过再说)
网友评论