⒈背景
大概就是前几天吧,一个初中同学急匆匆的来找我,要我帮忙,做一张宣传图,当时大概脑热,答应了,结果,答应之后,我在想没有电脑,又没有ps的素材,要我怎样?
接着在网上找到了一个app,叫图痒,这名字够骚,当时就下载了,发现用起来还不错,最后成功帮了同学的忙,没完呢,我发现里面的素材真心好,可惜不能离线,于是就有了爬取ps素材的想法(๑><๑)
上几张素材图
十分钟做一个有价值的爬虫
十分钟做一个有价值的爬虫
漂亮得不要不要ヽ(≧Д≦)ノ的
⒉分析思路
但是,我们平常爬取的都是网页,现在是app,HOW DO,于是我就想到了抓包,不得不说,这家公司的安全性,简直太低了。直接就是get一个网址,返回一个json,json里面包括了素材的类型,图片的地址,好了,数据有了,就是分析json了
3.json的分析
大概是我从来都没学json,这个步骤,累得我快崩溃,还好最后还是细心分析了,做事要认真
{
code: 0,
data: [
/////{
id: "89",
name: "复活节",
is_new: true,
images: [
{
id: "2165",
name: "FH10",
url: "http://fileicyouxxxxxxxxxxxx",
big_url: "http://file.pxxxxx.png",
category_id: "89",
pure_color: "1",
width: "750",
height: "750",
is_new: true
},////
////{
id: "2165",
name: "FH10",
url: "http://fileicyouxxxxxxxxxxxx",
big_url: "http://file.pxxxxx.png",
category_id: "89",
pure_color: "1",
width: "750",
height: "750",
is_new: true
}///]]}
这是简化的json,但都是如此循环的,data里有多个字典,但这里只给出一个,而字典里又有一个images的列表,列表里又有字典,只要在这个字典里获取big_url的值,就是获取了素材的下载地址,好乱,是不是,我一开始,也是懵比的
3.废话少说,代码
要用的话,文件的地址要改
要用的话,文件的地址要改
要用的话,文件的地址要改
#-*-coding:utf8;-*-
import os,re,requests,json,time
head={'User-Agent':'Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_0 like Mac OS X; en-us) AppleWebKit/532.9 (KHTML, like Gecko) Version/5.0.5 Mobile/8A93 Safari/6531.22.77'}
r=requests.get('http://api.picyoung.com/static/json/assets_lib_v2.json?tm=25048106',headers=head)#获取json
data=json.loads(r.text.encode('utf8'))#将网页加载给json解析
for item in data['data']['category'][0]['child']:#这里的0很重要,因为一共有6个主题,所以当0爬取完时,就填1,以此类推,填到5,当然你也可以通过一个循环自动爬取全部
filename=item['name'].replace(' ','').encode('utf8')
if False==os.path.exists('/sdcard/to/%s'%filename):#判断文件夹存在,不存在,就创建
os.mkdir("/sdcard/to/%s"%filename)
a=0
for items in item['images']:#遍历images列表里的字典
url=items['big_url']#从字典里取图片的下载地址
r=requests.get(url,headers=head,timeout=10)#加载图片
with open('/sdcard/to/%s/%s.png'%(filename,a),'wb') as code:
print '正在下载[%s]/%s'(item['name'].encode('utf8'),a)
code.write(r.content)#写入图片
a+=1
time.sleep(0.5)#每爬取完一张,就休眠0.5秒,防止被网站发现
写在最后
感谢图痒这个公司,同时推荐大家使用
我的QQ1208662778,随时可问问题
数据大概这么多
网友评论