Python 爬虫第四篇（保存数据到文件）

在前面一篇 Python 爬虫第三篇（循环爬取多个网页）中介绍了如何让爬虫自动搜索网站中的链接并循环获取链接的内容，那么问题来了，既然我们通过爬虫自动获取了多个网页的内容，那么这些内容该怎么处理，如果仅仅是停留在内存中，且不说没有那么大的内存来存储这些数据，程序一旦停止这些数据将全部丢失，简单便捷的方法是将这些数据保存到硬盘上，本篇我们将一起来看下如何将数据存储在硬盘上。

先来看下本节我们将获得的结果，以下图片是获取到的所有的分类「将派去的连接数设置为 10000 条，通过程序一个小时的运行，我们获取的分类梳理大概有 306 个」。

image

以下是贴片电阻分类中后去的原件信息。

image

本节中我们要将网站中的原件分类进行存放，因此需要先获取原件的分类信息，首先我们现在网站上找到分类的位置，如下图

image

对应的 html 源码如下

image

因此我们只需要<div class="bread_crumbs"> 下的 <span>标签即可，然后通过判断 a 标签的 href 属性的内容来最终获取原件的分类。完整的代码如下

    def __get_category(self, soup):
        soup_tag = soup.find('div', class_='bread_crumbs')
        if soup_tag is None:
            logger.error(soup)
            return 'None'
        category_tag = soup_tag.find(name='a', href=re.compile(r'https?://list.szlcsc.com.+'))
        if category_tag is None:
            logger.error(category_tag)
            return 'None'
        return category_tag.string

现在我们只需要将获取到的信息保存的文件中即可，保存内容到文件中的代码如下

    def __data_save(self, data):
        if len(data) < 2:
            logger.error('data length error : len = %d' %(len(data)))
            return
        filename = data[0] + 'a.txt'
        strinfo = re.compile('[/]')
        filename = re.sub(strinfo, '-', filename)
        filename = './finally/' + filename
        str = '%20s :' %(data[1])
        for price in data[2]:
            data = price[0].rjust(10) + ':' + price[1].ljust(10)
            str = str + data
        str = str + '\n'
        logger.info(str)
        with open(filename, 'a') as f:
            f.write(str)

若需要获取完整的代码，请访问 github。