上回我们讲到了基础的图片的URL的获取——Python之Instagram图片爬虫（一），这回将要讲的就是获取加载更多时的图片URL，从而能够获取所属当前用户的所有的图片的URL链接。

---

分析页面

还记得上回我们并没有点击更多这个按钮，仅仅获取了首页的图片具体链接。

首页
在首页中分析出来的HTML中，提取到了这样的json数据块。 json数据块

也成功提取了其中的图片链接，这回让我们先清空一下Chrome 调试中Network Tab页面的跟踪信息，紧接着点击一下更多按钮。

更多的请求

这时就可以瞧见第一条的请求记录，再来点开它的response，查看一下具体的返回内容。

提取出来的返回内容

哇？可不是json格式的内容，这样就可以很好的查看到更多的图片链接了。但是查看node的信息，发现图片仅仅只有几张，因此可以猜测这样的请求绝对不止一个。当我们往下拉时，发现Instagram自动加载了新的内容，同时发现了新的请求。

加载的异步请求

同样返回熟悉的json数据，但是问题是它是怎么请求下一次的呢？请求的参数是什么呢？

请求参数

如上图所示，其中的参数有这么几个：

• query_id
• id【包裹在json中】
• first
• after

这几个参数中，对比两次请求的参数，我们可以看到first参数没有变化。id参数也没变，依据经验，这个参数一定是随着不同的Instagram账号而变化的，但肯定容易获取。所以难点就是获取另外两个参数。我们优先查看第一次提取的HTML中的json数据库。

看图中有几个参数

查看上图，火眼金睛应该能看出其中的几个参数：

• id
• end_cursor 【刚好就是第一次query请求的after参数】

那么query_id去哪里了？这个确实复杂，我们在HTML中搜索发现并没有存在这个参数，这时就要分析Instagram的动态加载的JavaScript代码。

script节点

按照一般的经验，我们查询JavaScript的代码通常从网站所属公司的同源的文件开始，我们先去第一个zh_CN_Common查询query_id所对应的数字，发现确实出现了一条记录。

匹配一条

再进行queryId字符串的搜索，结果出现好多条，于是我们打算进行正则匹配，但遇到的数字很多。根据正则匹配的结果，我们发现了几个，来自我的猜测，前面几个都是以前的版本号，所以我们选取最后一个。

queryId

代码

#!/usr/bin/env python
# -*- coding: utf-8 -*-

"""
 @File       : spider.py
 @Time       : 2017/8/12 0012 21:22
 @Author     : Empty Chan
 @Contact    : chen19941018@gmail.com
 @Description:
"""
import re
import json
import os
from lxml import etree
import requests
import click
from urllib import parse
import time

PAT = re.compile(r'queryId:"(\d*)?"', re.MULTILINE)
headers = {
    "Origin": "https://www.instagram.com/",
    "Referer": "https://www.instagram.com/morisakitomomi/",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "
                  "Chrome/58.0.3029.110 Safari/537.36",
    "Host": "www.instagram.com",
    "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
    "accept-encoding": "gzip, deflate, sdch, br",
    "accept-language": "zh-CN,zh;q=0.8",
    "X-Instragram-AJAX": "1",
    "X-Requested-With": "XMLHttpRequest",
    "Upgrade-Insecure-Requests": "1",
}

# jso = {"id": "1179476381", "first": 12, "after": ""}
jso = {"id": "", "first": 12, "after": ""}

BASE_URL = "https://www.instagram.com"

# QUERY = "/morisakitomomi/"  # 森咲智美
QUERY = "/_8_jjini/"
NEXT_URL = 'https://www.instagram.com/graphql/query/?query_hash={0}&variables={1}'

proxy = {
    'http': 'http://127.0.0.1:38251',
    'https': 'http://127.0.0.1:38251'
}


def crawl():
    click.echo('start...')
    try:
        all_imgs_url = []
        res = requests.get(BASE_URL + QUERY, headers=headers, proxies=proxy)  # , verify=False)
        html = etree.HTML(res.content.decode())
        all_a_tags = html.xpath('//script[@type="text/javascript"]/text()')  # 图片数据源
        query_id_url = html.xpath('//script[@crossorigin="anonymous"]/@src')  # query_id 作为内容加载
        click.echo(query_id_url)
        for a_tag in all_a_tags:
            if a_tag.strip().startswith('window'):
                data = a_tag.split('= {')[1][:-1]  # 获取json数据块
                js_data = json.loads('{' + data, encoding='utf-8')
                id = js_data["entry_data"]["ProfilePage"][0]["graphql"]["user"]["id"]
                edges = js_data["entry_data"]["ProfilePage"][0]["graphql"]["user"]["edge_owner_to_timeline_media"]["edges"]
                print(edges)
                end_cursor = js_data["entry_data"]["ProfilePage"][0]["graphql"]["user"]["edge_owner_to_timeline_media"]["page_info"]["end_cursor"]
                has_next = js_data["entry_data"]["ProfilePage"][0]["graphql"]["user"]["edge_owner_to_timeline_media"]["page_info"]["has_next_page"]
                for edge in edges:
                    if top_url and top_url == edge["node"]["display_url"]:
                        in_top_url_flag = True
                        break
                    click.echo(edge["node"]["display_url"])
                    new_imgs_url.append(edge["node"]["display_url"])
                    # click.echo(qq.get(node["display_src"], proxies=proxy).status_code)

                    # 请求query_id
                    query_content = requests.get(BASE_URL + query_id_url[1], headers=headers, proxies=proxy)
                    query_id_list = PAT.findall(query_content.text)
                    for u in query_id_list:
                        click.echo(u)
                    query_id = query_id_list[1]
                    count = 0
                    # 更多的图片加载
                    while has_next and count <= 1:
                        jso["id"] = id
                        jso["first"] = 12
                        jso["after"] = end_cursor
                        text = json.dumps(jso)
                        url = NEXT_URL.format(query_id, parse.quote(text))
                        res = requests.get(url, headers=headers, proxies=proxy)
                        time.sleep(2)
                        html = json.loads(res.content.decode(), encoding='utf-8')
                        has_next = html["data"]["user"]["edge_owner_to_timeline_media"]["page_info"]["has_next_page"]
                        end_cursor = html["data"]["user"]["edge_owner_to_timeline_media"]["page_info"]["end_cursor"]
                        edges = html["data"]["user"]["edge_owner_to_timeline_media"]["edges"]
                        for edge in edges:
                            click.echo(edge["node"]["display_url"])
                            count += 1
                            # all_imgs_url.append(edge["node"]["display_url"])
                    click.echo('ok')
    except Exception as e:
        raise e

if __name__ == '__main__':
    crawl()

什么，你说怎么下载？那是下回的事情了，哈哈，相信有兴趣的小伙伴早就是想法设法下载了。大家下回见哦，下回将整理整个代码~~

下一篇