美文网首页
EX4 | 用Python完成对百度图片关键字猫的保存

EX4 | 用Python完成对百度图片关键字猫的保存

作者: d9ce68731cdb | 来源:发表于2018-10-18 18:23 被阅读91次

    欢迎关注微信号:student_Shang
    小编是985院校小硕士一枚,欢迎关注,持续更新中~

    百度搜索关键字猫

    哈喽,大家好~

    在本次推送中,以百度搜索中关键字猫作为采集目标,重点采集并保存猫的图片,在本地根目录下以 图片的形式进行存储。

    1 准备工作

    在本次爬虫开始之前,请确保已经安装好了第三方 requests 库、BeautifulSoup 库等。如果没有安装,请使用cmd打开命令行界面,并逐行键入以下代码:

    pip install requests
    pip install json
    

    2 抓取分析

    本次抓取的信息内容较上一次简单。只需要利用 requests 库向指定网站发送请求,获取服务器传来的响应,随后利用 json 库完成对网页代码的解析,同时为了进一步防止触发反爬虫机制。具体分析如下:
    首先,我们本次爬取的网站是

    https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord=猫&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&word=猫&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&cg=girl&pn=30&rn=30&gsm=1e

    右键点击 检查 按钮,或者直接按下 F12 进入开发者界面,点开 Network 一栏,并按下 F5 刷新按钮,必要时请按下 CTRL + F5 组合键完成页面的刷新。随后我们点击刷新后出现的第一个子栏目。如下图所示:

    观察list表单中的相关信息

    这里我们可以看到,网站请求的 Request URL ,再往下翻观察 Request Headers信息,为了避免触发反爬虫机制,我们要尽量把爬虫程序做的更像是人在浏览网页。

    接下来便是对网页的提取与保存,我们开始今天的爬虫工作。

    3 爬取信息与保存

    在安装完毕我们在一开始介绍的第三方库后,这里我们需要首先导入这些文件才能够进行后续的操作。

    import requests
    import json
    
    

    3.1 网页请求头的设置

    为了使爬虫程序模拟的更像人在操作,因此我们添加了请求过程中一些比较重要的请求头信息,并将其整理成一个请求函数,具体如下:

    def get_page(url):
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36(KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36',
            
                }
        r = requests.get(url,headers = headers)
        return r
    

    接下来我们便开始网页的爬取工作。

    3.2 百度图片搜索关键字猫图片的爬取与保存

    首先,我们需要对单个网页的信息进行爬取,通过对响应代码的分析,我们利用 json 库完成对代码的解析。同时将其定义为 get_pictures_url() 函数。具体如下:

    def get_pictures_url(url):
        r = get_page(url)
        soup = json.loads(r.content)
        for picture in soup.get('data'):
            picture_url = picture.get('thumbURL')
            if picture_url:
                print(picture_url)
                img = get_page(picture_url)
                if img.status_code == 200:
                    try:
                        with open('./' + picture.get('di') + '.jpg','wb') as f:
                            f.write(img.content)
                    except:
                        pass
    
    

    单个网页的内容收集完毕后,我们需要获取如何跳入下一页。这里我们发现,通过更改不同页数的网页 URL 之间的 pageNum 参数,可以实现网页之间的切换。

    https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord=猫&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&word=猫&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&cg=girl&pn=30&rn=30&gsm=1e
    https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord=猫&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&word=猫&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&cg=girl&pn=30&rn=60&gsm=1e
    https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord=猫&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&word=猫&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&cg=girl&pn=30&rn=90&gsm=1e

    3.3 启动程序

    最后,键入以下代码便能够实现整个程序的运行:

    if __name__ == "__main__":
        for i in range(10):
            print('正在下载{}页'.format(i))
            get_pictures_url('https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&' \
              'queryWord=猫&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&word=猫' \
              '&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&cg=girl&pn={}&rn=30&gsm=1e'.format(i*30))
        print('下载完成')
    

    4 总结与展望

    本次爬虫程序在编写过程中,遇到了完善 Header 请求头信息遭到了 403 Forbid 的尴尬情况。在爬虫程序完成后,会在文件保存的根目录下保存 .jpg 图片的文件。此外,本次爬虫只限于对数据的爬取与保存工作,数据的分析工作留待后续进行再处理。

    微信公众号:Python一号通
    关注可了解更多的爬虫教程及机器学习内容。
    问题或建议,请公众号留言

    相关文章

      网友评论

          本文标题:EX4 | 用Python完成对百度图片关键字猫的保存

          本文链接:https://www.haomeiwen.com/subject/zvvszftx.html