首先说明, 这个我是照着崔老师的视频敲的, 删减掉了保存到数据库那步, 因为mangodb的用法我还没学.另外, 今日头条的网页在后来有了变化, 用之前的方式有些地方就走不通了, 自己动脑筋做了一些修改.原链在这里http://study.163.com/course/courseMain.htm?courseId=1003735019

---

什么是AJAX

首先来说明一下什么是AJAX(摘自廖雪峰的javascript教程)

AJAX不是JavaScript的规范，它只是一个哥们“发明”的缩写：Asynchronous JavaScript and XML，意思就是用JavaScript执行异步网络请求。

虽然我不是前端开发, 但是因为作为Android开发的原因, 我基本理解AJAX是怎么回事.
以今日头条举例来说

通常像这样的列表页, 数据都是AJAX加载的, 因为没必要在一开始就加载所有的数据, 需要时才加载.当用户滚动到页面底部时, 这时候才发起http请求, 请求新的数据, 然后将新的数据显示到页面上.然后页面中就有新的内容了, 接着用户又继续滚动网页, 当滚动到最底部的时候意味着所有数据都已经浏览完毕, 然后又发起了一个AJAX请求.图中红框中的部分意味着这时候刚刚发起一个AJAX请求, 数据还没有获取到.
我之所以理解这些, 是因为在移动端中, Android和iOS的app一般也都是这么做的.而且要证明这一点十分容易.打开浏览器的开发者工具, 不断向下滚动列表, 你就会观察到会出现如右边红框中的网络请求, 那就是AJAX

---

获取索引页的链接

刚才说了, 在今日头条搜索街拍, 那个页面的数据是从AJAX请求中得到的, 所以https://www.toutiao.com/search/?keyword=街拍这个请求的response中其实是没有我们想要得到的索引页的链接的, 事实也正是如此, 我观察过.
所有数据都在这样格式的请求里

先获取这些json格式的数据, 代码如下

def get_page_index(offset, keyword):
    data = {
        'offset': offset,
        'format': 'json',
        'keyword': keyword,
        'autoload': 'true',
        'count': 20,
        'cur_tab': 1,
        'from': 'search_tab'
    }
    headers = {
        'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"
    }
    try:
        response = requests.get(url='https://www.toutiao.com/search_content', params=data, headers=headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        print('请求索引页错误')
        return None
        pass

接着, 解析这个json数据

def parse_page_index(html):
    data = json.loads(html)
    if data and 'data' in data.keys():
        for item in data.get('data'):
            if item and 'article_url' in item.keys():
                yield item.get('article_url')

如此一来, 我们就得到了索引页的列表, 接着把这个索引页的url传递过去

def main(offset):
    html = get_page_index(offset, KEYWORD)
    for url in parse_page_index(html):
        detail_html = get_page_detail(url)

---

获取详情页图片链接

在浏览器中进入详情页, 观察到图片的链接在这个地方

先获取详情页的所有response内容

def get_page_detail(url):
    try:
        response = requests.get(url)
        # response.encoding = response.apparent_encoding
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        print('请求详情页错误', url)
        return None
        pass

使用正则提取

def parse_page_detail(html, url):
    soup = BeautifulSoup(html, 'lxml')
    title = soup.select('title')[0].get_text()
    print('title:', title)
    images_pattern = re.compile(r'gallery: JSON.parse\("(.*?)"\),', re.S)
    result = re.search(images_pattern, html)
    if result:
        # group(0)是原始字符串, group(1)是第一个括号匹配到的字符串
        # groups()以元组形式返回全部分组截获的字符串。相当于调用group(1,2,…last)
        # codecs: 使不具有转义的反斜杠具有转义功能
        data_str = codecs.getdecoder('unicode_escape')(result.group(1))[0]
        json_data = json.loads(data_str)
        if json_data and 'sub_images' in json_data.keys():
            sub_images = json_data.get('sub_images')
            images = [item.get('url') for item in sub_images]
            for image in images:
                download_image(image)
            return {
                'title': title,
                'images': images,
                'url': url
            }
    else:
        print('没有搜索到符合条件的gallery数据', end='\n\n')

这里估计是最困难的一步了, 首先要获取JSON.parse("xxxxx")中双引号里的内容, 也就是我用xxxxx表示的那一部分, 但是这还不够.这样提取出来的是像 r'{"count":5}' 这样的字符串, 使用print打印出来你会发现双引号前面还带着个反斜杠(真不是转义, 是真的带着个反斜杠).后来搜了个方法, 将不转义的反斜杠全部变成转义的, 具体可以看上面的代码.另外还需要注意的是, 现在今日头条的详情页有两种形式, 一种是gallery相册形式, 我们可以按照上边的代码解析到图片地址, 另一种是列表形式的, 我就直接打印了"没有搜索到符合条件的gallery数据", 然后不管了(因为懒)

---

下载图片

获取到图片地址之后就可以下载, 代码挺简单的:

def download_image(url):
    print('正在下载图片', url)
    try:
        response = requests.get(url)
        if response.status_code == 200:
            save_image(response.content)
    except RequestException:
        print('请求图片错误', url)
        pass

---

结语

最后是一些代码的修改和优化, 这里不就细说了, 可以看崔老师的视频或者访问我的github仓库https://github.com/mundane799699/Jiepai
最后的最后, 上个成果图