一键追星，爬取个人微博主页下的图片
追星族，喜爱明星微博下发的个人照片，一个一个图片下载觉得麻烦，
python爬虫教你一键爬取个人微博主页下的图片
爬取网站：https://m.weibo.cn，此处为手机版的微博网址
搜索自己喜欢的个人微博主页（用户）：
此处选择第一个（并且进入其个人主页）
我们的目标（爬取onIyU-IU中国首站）主页下发布的所有图片
按F12此处用的百度浏览器，刷新并且选择XHr,
以看见有三个getindex？uid=.....
这里三个文件便是我们爬取的需要的信息所在
点击第二个后我们可以看见如下的内容
分析可以知道:
而且cardlistinfo里面的total为发的微博信息总数
并且能看到一个为since_id(记录下来，后面爬取需要)
cards 为微博信息 点击并且能看到如下信息
Large下的URL便是图片的URL，python爬取图片便是这个URL
拉动滑条刷新新的内容
出现了一条新的getindex？uid=.....，点击查看
再点击Headers查看需要提交的信息
经过研究可知道不同的微博主页下，变化的数据有
Uid , since_id
准备完毕后开始爬取（图片下载我们使用多进程池）
1.导入需要的库
```
import requests
import time
from urllib.parse import urlencode
from multiprocessing import Pool```
2. get函数 #为得到图片的URL地址
```
def a(since_id='',uid=0,):
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106BIDUBrowser/8.7 Safari/537.36',
'x-requested-with': 'XMLHttpRequest',
'referer': 'https://m.weibo.cn'
}
params={
'uid':uid,
'luicode':10000011,
'lfid':'231093_-_selffollowed',
'type':int(uid),
'value':5743555203,
'containerid':'107603'+str(uid),
'since_id':since_id
}
lv=[]
url='https://m.weibo.cn/api/container/getIndex?'+urlencode(params)
req=requests.get(url,headers=headers)
req=req.json() #since_id
since_id=req.get('data').get('cardlistInfo').get('since_id')
imgs=req.get('data').get('cards')
for i in imgs:
try:
i=i.get('mblog').get('pics')
for v in i :
v=v.get('large').get('url')
lv.append(v)
except:
continue
time.sleep(0.5)
return lv,since_id```
3.编写down函数 下载图片
```
defdown(isd='',lio=''):
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106BIDUBrowser/8.7 Safari/537.36',
'x-requested-with': 'XMLHttpRequest',
'referer': 'https://m.weibo.cn',
}
re = requests.get(isd, headers=headers, )
print(re)
name = str(lio) + '.jpg'
with open(name, 'wb')as f:
f.write(re.content)
print('-' * 10)
time.sleep(0.5)
```
4. 主函数的编写
```
if __name__ =='__main__':
lvvv=[]
t=0
sw=0
u = eval(input('输入uid:'))
p = eval(input('输入页数/10:'))
try:
s = a(since_id='', uid=u)
lvvv.extend(s[0])
for o in range(p):
sw+=1
s = a(since_id=s[1], uid=u)
lvvv.extend(s[0])
print(sw)
except:pass
pool=Pool(processes=4)
for i in range(len(lvvv)):
pool.apply_async(down,(lvvv[i],i))
print('star~ star~ star~')
pool.close()
pool.join()
```
函数就这样编写完成了
运行后，在该程序文件下看见图片
啊！！！
女神图片就这样一键下载下来了
网友评论