一，分析网页请求

我们打开新浪微博首页，以杨超越的微博为例，打开开发者工具，我们得到杨超越微博首页url: https://m.weibo.cn/u/5644764907?uid=5644764907

查看第一个请求，请求返回的网页源代码，并没有此时微博网页上面文字和图片信息，也和Elements里面的不相同，因此猜测，新浪微博是先搭好前端框架通过ajax请求，最后将数据填入相应的位置。

，

因此查看XHR里面的请求，发现有一个请求，返回了主页里面的一些信息

我们继续下拉网页，发现 请求：https://m.weibo.cn/api/container/getIndex?    带有如下3个重要参数

因此我们发现请求时要携带这3个参数， page为当前访问返回的页数

我们得到最终要访问杨超越微博请求的url :  https://m.weibo.cn/api/container/getIndex?uid=5644764907&containerid=1076035644764907&page=1

---

二，发送请求并解析数据

1.首先写请求，其中Use-Agent 为自己浏览器的信息，通过开发者工具可以查看。 经测试也可以不用编写请求头，也能够返回正确的数据。

2.编写请求，返回json数据，通过urlencode()方法，将params变成Get 请求的风格。

3.解析json数据，我们要爬取的是微博内容的图片，其他的信息也同理。 图片地址在data ，cards，mblog，pics下面。

其中large下的 url 里面的图片地址为原图，正是我们想要获取的数据，因此解析json数据的代码如下。

有的微博 itemid 和 图片为空，如果后面再用get方法会报错  'NoneType' object has no attribute 'get'，因此当遇到这种情况跳过就好了。

---

三，保存到本地，采用多线程方法

将一张图片的保存到本地的代码如下，dir 为文件目录，filename为文件名字。

在批量下载时，我们采用多线程的方法，默认开启10线程同时下载图片

最后看一下主函数

程序运行起来时

四，总结

    通过分析请求和响应的结果，分析出微博采用的是ajax的方式，向服务器请求数据的。然后找到请求的api，分析其携带的参数，写爬虫的程序，最后采用多线程下载图片到本地。

转载请注明原文章地址

---

五，感谢

当你看到这里的时候，我还是比较欣慰的，谢谢你们的支持！ 我现在还是一个努力学习的大学生，写的有问题希望指出来！ 我之后还会和大家分享一些我学习的笔记，机器学习，python，java等和你们一起共同进步！！加油

联系方式： biexingxing@icloud.com

微博：  Mstarece

最后直接贴上源代码！！！

from multiprocessing.dummyimport Pool

from urllib.parseimport urlencode

import requests

import time

import os

base_url ='https://m.weibo.cn/api/container/getIndex?'

headers = {

'Host':'m.weibo.cn',

'Referer':'https://m.weibo.cn/u/',

'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',

'X-Requested-With':'XMLHttpRequest'

}

def get_page(page):

params = {

'uid':'5644764907',

'containerid':'1076035644764907',

'page': page

}

url = base_url + urlencode(params)

try:

response = requests.get(url,headers=headers)

if response.status_code ==200:

return response.json()

except requests.ConnectionErroras e:

print('Request Error', e.args)

def parse_page(json):

if json:

pics = []

items = json.get('data').get('cards')

content = items[0].get('mblog').get('user').get('screen_name') +'的微博图片'

        for itemin items:

itemid = item.get('itemid')

if itemid =='':

continue

            item_pics = item.get('mblog').get('pics')

if item_pics ==None:

continue

            else:

for item_picin item_pics:

url = item_pic.get('large').get('url')

pics.append(url)

return pics,content

def save_to_file(pic,content):

url = pic

dir ='Imgs' +'/' + content

filename = dir +'/' + url.split('/')[-1]

if os.path.exists(filename):

print('exists:', filename)

return

    if not os.path.exists(dir):

try:

os.makedirs(dir)

except Exception as e:

pass

    res = requests.get(url)

with open(filename,'wb')as fp:

print('start download', url)

fp.write(res.content)

def Async(pics,content,processes=10):

start_time = time.time()

pool = Pool(processes)

for imgin pics:

pool.apply_async(save_to_file, (img,content))

pool.close()

pool.join()

end_time = time.time()

print('下载完毕,用时:%s秒' % (end_time - start_time))

def mian():

for pagein range(1,10):

json = get_page(page)

pics, content = parse_page(json)

Async(pics, content)

if __name__ =='__main__':

mian()