Python-爬取数据实践

本文以爬取豆瓣网新书列表为例。
备注：为了豆瓣网服务器的正常运行，请读者仅将此文作为学习之用。

import requests
from bs4 import BeautifulSoup
import pandas as pd


# 获取数据
def get_data():
    print('开始获取数据')
    url = 'https://book.douban.com/latest'
    header = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36'}
    data = requests.get(url, headers=header)
    return data


# 解析数据
def parse_data(data):
    print('开始解析数据')
    soup = BeautifulSoup(data.text, 'lxml')

    books_left = soup.find('ul', {'class': 'cover-col-4 clearfix'})
    books_left = books_left.find_all('li')

    book_right = soup.find('ul', {'class': 'cover-col-4 pl20 clearfix'})
    book_right = book_right.find_all('li')

    books = list(books_left) + list(book_right)

    img_urls = []
    titles = []
    ratings = []
    authors = []
    details = []

    for book in books:
        # 图书封面的图片的url地址
        img_url = book.find_all('a')[0].find('img').get('src')
        img_urls.append(img_url)

        # 图书标题
        title = book.find_all('a')[1].get_text()
        title = title.replace('\n', '').replace(' ', '')
        titles.append(title)

        # 评价星级
        rating = book.find_all('p', {'class': 'rating'})[0].find('span',
                                                                 {'class': 'font-small color-lightgray'}).get_text()
        rating = rating.replace('\n', '').replace(' ', '')
        ratings.append(rating)

        # 作者及其出版信息
        author = book.find('p', {'class': 'color-gray'}).get_text()
        author = author.replace('\n', '').replace(' ', '')
        authors.append(author)

        # 图书简介
        detail = book.find_all('p')[2].get_text()
        detail = detail.replace('\n', '').replace(' ', '')
        details.append(detail)
    return img_urls, titles, ratings, authors, details


# 保存数据
def save_data(img_urls, titles, ratings, authors, details):
    print('开始保存数据')
    result = pd.DataFrame()
    result['img_urls'] = img_urls
    result['titles'] = titles
    result['ratings'] = ratings
    result['authors'] = authors
    result['details'] = details
    result.to_csv('result.csv', index=None)


# 开始爬取
def run():
    print('开始爬取')
    data = get_data()
    img_urls, titles, ratings, authors, details = parse_data(data)
    save_data(img_urls, titles, ratings, authors, details)


if __name__ == '__main__':
    run()

最后爬取的数据以csv格式文件输出：

img_urls,titles,ratings,authors,details
https://img3.doubanio.com/view/subject/m/public/s29917244.jpg,4321,9.5,[美]保罗·奥斯特/理想国丨九州出版社/2018-11,美国当代小说大师保罗·奥斯特超级长篇：弗格森诞生于1947年，从那时起，他的生活展开了四条彼此独立的平行路径，经历了四重人生。
https://img1.doubanio.com/view/subject/m/public/s29904087.jpg,铁浆,8.7,朱西甯/九州出版社/2018-10,台湾文学家朱西甯短篇小说集。写于台湾的六〇年代，接续五四的白话小说传统，还原民国初年北方农村集镇的传奇人物与古老事件。
https://img1.doubanio.com/view/subject/m/public/s29910528.jpg,电幻国度,9.4,[瑞典]西蒙·斯托伦哈格/浙江文艺出版社/2018-10,直到战争结束后，人们才意识到，带来末日的并非战争……瑞典视觉艺术大师西蒙·斯托伦哈格杰出的图像小说。
https://img1.doubanio.com/view/subject/m/public/s29911318.jpg,远处的拉莫,7.3,胡迁/译林出版社/2018-11,胡迁离世前留下的一组文学作品结集，包括他在生命最后一个月里完成却还未及排演的戏剧剧本《抵达》。
https://img3.doubanio.com/view/subject/m/public/s29909704.jpg,冷场,7.4,李诞/四川文艺出版社/2018-11-20,谐星李诞最新人间百态故事集。
https://img3.doubanio.com/view/subject/m/public/s29905205.jpg,沃普萧丑闻,评价人数不足,[美]约翰·契弗/译林出版社/2018-10,拥有宏大却温柔的视野，书中满是受制于无常命运的可怜人物。契弗对他们所怀有的不是冷面嘲讽，而是会心一笑的同情。
https://img3.doubanio.com/view/subject/m/public/s29909296.jpg,厨房太平记,9.0,[日]谷崎润一郎/上海译文出版社/2018-11,谷崎润一郎唯一喜剧小说：昭和时代，青涩的乡下少女，来到大城市富裕人家当女佣。作品生动描绘了女性或天真，或坚韧，或世故的多面。
https://img3.doubanio.com/view/subject/m/public/s29880076.jpg,天堂的喷泉,9.0,[英]阿瑟·克拉克/四川科学技术出版社/2018-11-1,为方便快捷地进入太空，工程师摩根选中在“天堂的喷泉”旧址处建造登天电梯。“天堂的喷泉”最终能够建成吗？“科幻三巨头”之一克拉克作品。
https://img3.doubanio.com/view/subject/m/public/s29890774.jpg,时间中的孩子,8.6,[英]伊恩·麦克尤恩/南海出版公司/2018-11-1,失去幼女的童书作家如何寻回内心的天真与真正珍贵之物？厌倦成年人的童书出版商为何突然辞职隐居？……麦克尤恩以“孩子”为主题的作品。
https://img1.doubanio.com/view/subject/m/public/s29895367.jpg,正午时踏进光焰,8.4,郭爽/新星出版社/2018-11,在大人看不见也看不懂的世界里，他们在一起。追真人秀、做“迷妹”，在网络应援团里找到自己，经历了集体迷狂、金钱骗局、理想破灭……
https://img1.doubanio.com/view/subject/m/public/s29897059.jpg,凝视太阳,9.2,[英]朱利安·巴恩斯/外语教学与研究出版社/2018-10-20,一个热爱飞翔又恐惧天空的年轻战斗机驾驶员，一个单纯倔强的愣头青女孩，偶尔地交汇，各自追寻的生命终极，讲述人与人不止因为爱情而生的共鸣。
https://img3.doubanio.com/view/subject/m/public/s29931721.jpg,沙岸风云,评价人数不足,[法]朱利安·格拉克/作家出版社/2018-10,一部闪烁着超现实主义与象征主义精神的瑰丽而深沉的小说。龚古尔奖获奖作品。
https://img3.doubanio.com/view/subject/m/public/s29881481.jpg,泰坦的女妖,评价人数不足,[美]库尔特·冯内古特/上海译文出版社/2018-10,温斯顿•伦福德乘坐私人太空飞船进入时间同向曲面漏斗后，不得不反复时空穿梭，从而获得了预言未来的能力……入围雨果奖年度最佳长篇。
https://img3.doubanio.com/view/subject/m/public/s29914322.jpg,冰冻时光之窗,评价人数不足,[乌克兰]尤里·维尼楚克/东方出版社/2018-11-1,当代乌克兰最政治不正确的作家，不屈不挠的偶像破坏者，后苏维埃cult、科幻、情色、反乌托邦。
https://img3.doubanio.com/view/subject/m/public/s29909562.jpg,犯罪小说集,评价人数不足,[日]吉田修一/上海文艺出版社/2018-10,以五起案件作为切入口，本质写的是日本社会的各个层面。普通人是如何犯下重大罪行的？人，会在怎样的情况下跨越不该被跨越的界限？
https://img1.doubanio.com/view/subject/m/public/s29926847.jpg,萨申卡,8.0,[英]西蒙·塞巴格·蒙蒂菲奥里/社会科学文献出版社/2018-11,有关苏联上流社会的详细描述，大亨和秘密警察，以及许多行为反常的人物。
https://img1.doubanio.com/view/subject/m/public/s29899288.jpg,雷切帝国：正义号的觉醒,9.3,[美]安·莱基/上海文艺出版社/2018-10-1,用来征服宇宙的智能战舰瞬间化为灰烬。幸存的士兵布瑞克被指派秘密任务，在执行过程中，她慢慢觉醒……本书曾获雨果奖、星云奖等多项大奖。
https://img3.doubanio.com/view/subject/m/public/s29922146.jpg,血色子午线,评价人数不足,[美]科马克·麦卡锡/九州出版社/2018-11,《西方正典》作者哈罗德·布鲁姆认为，“在我看来，《血色子午线》应该是美国真正的末世预言小说”。
https://img1.doubanio.com/view/subject/m/public/s29890978.jpg,法国往事（下）,,[法]法比安·努瑞文/[法]西尔万·泰松图/后浪丨北京联合出版公司/2018-12,一个犹太家庭的悲欢离合，一段“二战”历史的正史秘辛。国际漫画节系列大奖作品。
https://img3.doubanio.com/view/subject/m/public/s29921990.jpg,拍卖第四十九批,评价人数不足,[美]托马斯·品钦/译林出版社/2018-10,品钦创作的第一部长篇小说，描绘了美国光怪陆离的社会全景，道出了在无序、空虚、没有确定性的现代社会中人类的尴尬处境。
https://img3.doubanio.com/view/subject/m/public/s29923776.jpg,奈飞文化手册,8.5,[美]帕蒂·麦考德/浙江教育出版社/2018-10-1,2009年，Netflix公开发布了一份介绍企业文化的PPT文件，在硅谷引起轰动。本书是Netflix前CHO帕蒂·麦考德对这份PPT文件的深度解读。
https://img3.doubanio.com/view/subject/m/public/s29909294.jpg,卢丹的恶魔,9.2,[英]阿道司·赫胥黎/北京时代华文书局/2018-10,究竟是俊俏的风流神父，与17名修女之间因荒淫无度引来魔鬼附身，还是被权力精英阶级嫉妒，故而栽赃陷害？
https://img3.doubanio.com/view/subject/m/public/s29908936.jpg,塑造神圣,9.1,包慧怡/上海社会科学院出版社/2018-10,14世纪中古英语头韵复兴运动中的翘楚诗人“珍珠”作品研究。
https://img3.doubanio.com/view/subject/m/public/s29917590.jpg,原节子,9.4,徐辰/新星出版社/2018-11,原节子，二十世纪日本最具代表性女演员之一。全书以近三十万字描绘了原节子的一生。
https://img3.doubanio.com/view/subject/m/public/s29926814.jpg,直觉泵和其他思考工具,8.8,丹尼尔•丹尼特(DanielC.Dennett)/浙江教育出版社/2018-11-1,“直觉泵”是很有用的思考工具，作为一种思想实验，一个好的直觉泵比任何一种论证和分析都更为有力。
https://img3.doubanio.com/view/subject/m/public/s29879114.jpg,心碎博物馆,8.3,〔克罗地亚〕奥林卡·维斯蒂卡、德拉任·格鲁比希奇/北京联合出版公司/2018-10-25,克罗地亚的一对艺术家情侣分手之后发起了心碎博物馆，展示那些恋旧的人不忍丢弃的东西。迄今为止，心碎博物馆已在全球举办了50场展览。
https://img3.doubanio.com/view/subject/m/public/s29902000.jpg,悲伤的力量,,[英]朱莉娅·塞缪尔/广西师范大学出版社/2018-12,15则关于爱，失亲，面对自己的死亡以及抚平悲伤的动人故事。这些故事帮我们走近有关悲伤的禁忌与迷思，让我们尊重并理解悲伤的过程。
https://img3.doubanio.com/view/subject/m/public/s29890012.jpg,看见孩子，看见自己,8.0,【英】A.H.布拉夫曼著/北京日报出版社/2018-11,孩子厌食、呕吐、咬人、尿裤子、极度害羞……对于这些只有躯体症状却没有生理病因的问题，你需要与不开心的孩子聊聊内心的冲突。
https://img3.doubanio.com/view/subject/m/public/s29916566.jpg,帝国,评价人数不足,[波]雷沙德·卡普钦斯基/生活·读书·新知三联书店/2018-10,卡普钦斯基横越俄罗斯的私人报告，他捕捉了苏联即将解体之际，那片土地满载的冲突与情感，以及人们对于未来的恐惧与希望。
https://img3.doubanio.com/view/subject/m/public/s29921776.jpg,腐败与政府,评价人数不足,[美]苏珊·罗丝-阿克曼/[美]邦妮·J.帕利夫卡/中信出版社/2018-10-31,作者指出，与建立“诚信体系”或“反腐机构”相比，有效的反腐行动的核心是政府运作方式的变化。
https://img3.doubanio.com/view/subject/m/public/s29914272.jpg,伊本·赫勒敦,9.4,[美]罗伯特·欧文（RobertIrwin）/索·恩∣社会科学文献出版社/2018-10-30,"伊本·赫勒敦是中世纪阿拉伯哲学家、历史学家、政治活动家。被称为“人类历史哲学和社会学的奠基人之一""。"
https://img3.doubanio.com/view/subject/m/public/s29902115.jpg,郑渊洁家庭教育课,9.3,郑渊洁/天津人民出版社/2018-11,郑渊洁分享家教理念和方法。
https://img3.doubanio.com/view/subject/m/public/s29869605.jpg,民粹主义大爆炸,评价人数不足,[美]约翰·朱迪斯/中信出版集团·见识城邦/2018-11-1,全球政党势力表为何民粹当道？口无遮拦特朗普为何当上总统？老牌绅士英国人为何抛弃欧盟？欧罗巴的激进派为何选举成功？
https://img1.doubanio.com/view/subject/m/public/s29916759.jpg,旭日残阳,评价人数不足,桑兵/广西师范大学出版社/2018-11,还原从“帝制”走向“共和”的历史进程。聚焦武昌起事至清帝退位、民国肇建的关键历史节点。拆解辛亥政坛政治博弈，孙中山袁世凯间的政坛斗法。
https://img3.doubanio.com/view/subject/m/public/s29928663.jpg,幼稚园：今日宜远游,6.2,韩寒主编/浙江文艺出版社/2018-11,幼稚园」是韩寒全新文艺品牌，以“幼稚园里，一切仍旧来得及”作为概念，让读者找回成人世界里丢失的一系列有趣事物。
https://img3.doubanio.com/view/subject/m/public/s29932803.jpg,传奇中的大唐,8.4,刘勃/文化发展出版社/2018-10-1,从唐传奇文本入手，借虚虚实实的故事，讲述唐代的政治、社会与人情。
https://img1.doubanio.com/view/subject/m/public/s29927769.jpg,社会主义与“自然”,评价人数不足,朱羽/北京大学出版社/2018-10,本书尝试从“自然”出发重构五六十年代中国社会主义文化政治。以此一时期涌现出的绘画作品、“自然美”的争论以及社会主义新喜剧等文艺、美学实践为具体对象。
https://img1.doubanio.com/view/subject/m/public/s29917197.jpg,画中有猫,7.8,[英]德斯蒙德·莫里斯/新星出版社/2018-11-5,几千年里，人与猫时而敌对，时而亲密，而历代的艺术家已将这一部蜿蜒曲折的“人猫关系史”记录于画中。
https://img3.doubanio.com/view/subject/m/public/s29908991.jpg,重新理解创业,8.5,周航/中信出版集团/2018-10-20,易到用车创始人/顺为资本投资合伙人周航，首度复盘20年创业经历，全方位坦陈创业得与失。
https://img3.doubanio.com/view/subject/m/public/s29879480.jpg,半生不熟：厨室的黑暗与光明,评价人数不足,[美]安东尼·波登/上海三联书店/2018-11,“脏话连篇、幽默、无畏且富有同情心，安东尼·波登颠覆了西方的饮食写作。”