【爬虫】（五）数据存储之CSV

date: 2017-02-14 17:05:03

一个完整的（大）数据处理可以分为这几个阶段：

• 数据收集
• 数据存储
• 数据建模
• 数据分析
• 数据变现。

Holi的项目进度，已经从入门到处理了。

第一步的数据收集基本已经完成。

现在是第二步的数据存储。

讲道理，不懂点前端知识还真不好下手。

看到一堆标签也是很烦的，还好这些东西就想剥洋葱一样，一层一层剥开。

配合上《爱丽丝梦游仙境》的BeautifulSoup，就方便多了。

CSV（ Comma-Separated Values，逗号分隔值）是存储表格数据的常用文件格式。

Microsoft Excel 和很多应用都支持 CSV 格式，因为它很简洁。

Python 的 csv 库可以非常简单地修改 CSV 文件，甚至从零开始创建一个 CSV 文件:

import csv  

csvFile = open("../files/test.csv", 'w+')
try:
    writer = csv.writer(csvFile)
    writer.writerow(('number', 'number plus 2', 'number times 2'))
    for i in range(10):
        writer.writerow( (i, i+2, i*2))
finally:
    csvFile.close()

这种方案来处理教务处的数据，就很方便。

这里拿处理课表的来说。

解析课表的网页源码会看到有一个table的标签，这个很重要。

<table id="tableObj" width="99%" border="0" cellspacing="0" cellpadding="0" class="arranging_arrange">

确定了table和class，就看开始剥洋葱了。

import csv
from urllib.request import urlopen
from bs4 import BeautifulSoup
html = urlopen("课表url")
bsObj = BeautifulSoup(html)
# 看网页源码的class
table = bsObj.findAll("table",{"class":"arranging_arrange"})[0] 

#剥第一层洋葱
rows = table.findAll("tr")
#存储CSV
csvFile = open("../files/editors.csv", 'wt', newline='', encoding='utf-8')
writer = csv.writer(csvFile)

try:
    for row in rows:
        csvRow = []
        #继续一层层剥洋葱
        for cell in row.findAll(['td', 'th']):
            csvRow.append(cell.get_text())
        writer.writerow(csvRow)
finally:
    csvFile.close()

这样就可以得到存储在当前目录的CSV文件了。

用Notepad++打开可以看，用excel打开会乱码。

虐狗节，撸代码，还有谁。

哈哈哈哈。