Python爬虫：把爬取到的数据插入到execl中

作者: 部落大圣 | 来源:发表于2018-05-03 21:14 被阅读53次

Python爬虫：把爬取到的数据插入到execl中
Python爬虫：把爬取到的数据插入到execl中
Python 安装Mysql模块及安装中错误的解决
Python学习
Python 爬虫去掉爬取数据中的\xa0 \t \n
Python学习
2019-11-12
从mongodb导出数据到excel
一个不那么典型的Python爬虫
python爬虫爬取英雄联盟英雄图片

前面我们把大量数据已经爬取到了本地，但这些数据如果不存储起来，那么就会变得无效.开始本文之前，请确保已经阅读。

需读取的excel表格

按装第三方库xlrd
运行代码如下：

# coding:utf-8

import xlrd

data = xlrd.open_workbook('excel_file.xlsx')
table = data.sheets()[0]  # 通过索引顺序获取table, 一个execl文件一般都至少有一个table
print table.nrows  # 行数
print table.ncols  # 列数

for k in range(table.nrows): # 遍历行数据
    print table.row_values(k)

for i in range(table.ncols): # 遍历列数据
    print table.col_values(i)

print table.cell(2, 2).value  # 获取单元格数据，前一个是行数，从0开始，后一个是列数，且列数从0开始

for a in range(1, table.nrows):  # 行数据，我正好要去掉第1行标题
    for b in range(table.ncols):
        print table.cell(a, b).value
    print '---------------------'

1

写入excel

老方法，安装xlwt库

完整代码

# coding:utf-8
import xlwt

f = xlwt.Workbook(encoding='utf-8')  # 创建workbook 其实就是execl
sheet1 = f.add_sheet(u'个人信息', cell_overwrite_ok=True)
rowTitle = [u'编号', u'姓名', u'性别',u'年龄']
rowDatas = [[u'张一', u'男', u'18'], [u'李二', u'女',u'20'], [u'黄三', u'男',u'38'], [u'刘四', u'男', u'88'] ]


for i in range(0,len(rowTitle)):
    sheet1.write(0, i, rowTitle[i])

for k in range(0, len(rowDatas)):  # 先遍历外层的集合，即每行数据
    rowDatas[k].insert(0, k+1)   # 每一行数据插上编号即为每一个人插上编号
    for j in range(0, len(rowDatas[k])):  # 再遍历内层集合
        sheet1.write(k+1, j, rowDatas[k][j])  # 写入数据,k+1表示先去掉标题行，另外每一行数据也会变化,j正好表示第一列数据的变化，rowdatas[k][j] 插入数据


#创建个人输入表
sheet1 = f.add_sheet(u'个人收入表', cell_overwrite_ok=True)
rowTitle2 = [u'编号', u'姓名', u'学历', u'工资']
rowDatas2 = [[u'张一', u'本科', u'8000'], [u'李二', u'硕士', u'10000'], [u'黄三', u'博士', u'20000'], [u'刘四', u'教授', u'50000']]

for i in range(0, len(rowTitle2)):
    sheet1.write(0, i, rowTitle2[i])

for k in range(0, len(rowDatas2)):  # 先遍历外层的集合
    rowDatas2[k].insert(0, k+1)  # 每一行数据插上编号即为每一个人插上编号
    for j in range(0, len(rowDatas2[k])):
        sheet1.write(k+1, j, rowDatas2[k][j])  # 写入数据,k+1表示先去掉标题行，另外每一行数据也会变化,j正好表示第一列数据的变化，rowdatas[k][j] 插入数据

f.save('info.xlsx')

个人信息

收入

猪八戒网，爬取数据存入excel

完整代码

# coding=utf-8

import requests
import time
import xlwt
import xlrd
from lxml import etree

class ZbjData(object):

 def __init__(self):
     self.f = xlwt.Workbook()   #创建工作薄
     self.sheet1 = self.f.add_sheet(u'任务列表',cell_overwrite_ok=True)
     self.rowsTitle = [u'编号',u'标题',u'简介',u'价格',u'截止时间',u'链接']
     for i in range(0, len(self.rowsTitle)):
        self.sheet1.write(0, i, self.rowsTitle[i], self.set_style('Times new Roman', 220, True))

     self.f.save('zbj.xlsx')

 def set_style(self,name, height, bold=False):
        style = xlwt.XFStyle()  # 初始化样式
        font = xlwt.Font()  # 为样式创建字体
        font.name = name
        font.bold = bold
        font.colour_index = 2
        font.height = height
        style.font = font
        return style

 def getUrl(self):
    for i in range(33):
        url = 'http://task.zbj.com/t-ppsj/p{}s5.html'.format(i+1)
        self.spiderPage(url)

 def spiderPage(self,url):
    if url is None:
        return None

    try:
        data = xlrd.open_workbook('zbj.xlsx')
        table = data.sheets()[0]  # 通过索引顺序获取table, 一个execl文件一般都至少有一个table
        rowCount = table.nrows      #获取行数   ，下次从这一行开始
        proxies = {
            'http': 'http://125.46.0.62:53281',
        }
        user_agent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4295.400'

        headers = {'User-Agent': user_agent}
        htmlText = requests.get(url, headers=headers,proxies=proxies).text

        selector = etree.HTML(htmlText)
        tds = selector.xpath('//*[@class="tab-switch tab-progress"]/table/tr')
        m = 0
        for td in tds:
             data = []
             price = td.xpath('./td/p/em/text()')
             href = td.xpath('./td/p/a/@href')
             title = td.xpath('./td/p/a/text()')
             subTitle = td.xpath('./td/p/text()')
             deadline = td.xpath('./td/span/text()')
             price = price[0] if len(price)>0 else ''    # python的三目运算 :为真时的结果 if 判定条件 else 为假时的结果
             title = title[0] if len(title)>0 else ''
             href = href[0] if len(href)>0 else ''
             subTitle = subTitle[0] if len(subTitle)>0 else ''
             deadline = deadline[0] if len(deadline)>0 else ''

            #拼装成一个集合
             data.append(rowCount+m)    #加个序号
             data.append(title)
             data.append(subTitle)
             data.append(price)
             data.append(deadline)
             data.append(href)

             for i in range(len(data)):
                 self.sheet1.write(rowCount+m,i,data[i])    #写入数据到execl中

             m+=1   #记录行数增量
             print m
             print price, title, href, subTitle, deadline

    except Exception,e:
        print '出错',e.message

    finally:
        self.f.save('zbj.xlsx')


if '_main_':
    zbj = ZbjData()
    zbj.getUrl()