Python对csv文件的处理

公司策划那边是不是会有从相关csv文件提取相关属性所对应的所有值的需求。 为了避免手动一个文件一个文件的查找&复制，写了一个脚本进行对应查找和提取。

比如前两天有个需求是：

给出一组questid列表，在每个questid(例如99070333)后面添加一个0（变成了990703330）,然后根据这个questid + "0"(我们定义为stageid)找出应目录下的csv文件，这些csv文件的文件名格式形式为：prefix_stageid.surfix。在项目中prefix为mapEventMonster, surfix为csv。因此以questid = 99070333为例，对应的csv文件名为：

mapEventMonster_990703330.csv

这些csv文件格式如下（属性和值之间由逗号分隔,这里为了表示的方式来显示效果）:

| stageID | roomID | rate | enemyGroupID| actionFlg|messageNo_0|messageNo_1|messageNo_2|messageNo_3|messageNo_4|worldID|areaID|dungeonID|
|---------|---------|---------|---------|---------|---------|---------|---------|---------|---------|---------|---------|---------|---------|
|990701690|2|0|90080169|1|-1|-1|-1|-1|-1|9|907|1|

这里我们提取enemyGroupID属性所对应的所有值。

这里还有一个问题是：所有csv文件按照相关规则保存在对应目录中，例如：

...
dungeon/quest_type_3/area_907/mapEventMonster_990701690.csv
dungeon/quest_type_3/area_999/mapEventMonster_999999990.csv
...
...

所以我们需要找深入到目录（及其子目录中；这里一级目录为dungeon）找到对应csv文件。同时最好建立一个key-value的字典结构用来保存所有的查找结果。这里key为stageId(即questId + "0"); value为对应csv文件的全路径。

代码如下：

#!/usr/bin/python
# coding:utf8

import os
import csv

# 递归目录及其子目录下的文件
def dirlist(path, allfile):
    filelist = os.listdir(path)
    for filename in filelist:
        filepath = os.path.join(path, filename)
        if os.path.isdir(filepath):
            dirlist(filepath, allfile)
        else:
            allfile.append(filepath)
    return filepath

# 从文件的全路径中截取文件名(一般处于全路径的最后一个'/'的后面)
def cutFileName(fullpath):
    return fullpath.split('/')[-1]

# 打印list所有元素
def printList(myList):
    for item in myList:
        print item

# 判断文件名是否满足指定后缀
def isSurfix(path, surfix):
    filename = cutFileName(path)
    return path.split('.')[-1] == surfix

# 判断文件名是否满足指定前缀
def isPrefix(path, prefix):
    filename = cutFileName(path)
    return filename.find(prefix) == 0

# 建立key-value的字典结构保存搜索结果
# key:      stageId
# value:    对应csv的全路径
def setDict(allfile, prefix, surfix):
    myDict = dict()
    for item in allfile:
        if isSurfix(item, surfix) and isPrefix(item, prefix):
            filename = cutFileName(item)
            beg = filename.find(prefix)
            end = filename.find(surfix)
            stageId = filename[beg + len(prefix): end-1]
            myDict[stageId] = item
    return myDict

# 获得对应csv文件的某一列的所有值
def getCsvValue(filepath, colnum, ret):
    # print filepath
    reader = csv.reader(file(filepath, 'rb'))
    for line in reader:
        if reader.line_num == 1: 
            # 跳过第一行属性名
            continue
        ret.append(line[colnum])

# 递归创建目录
def createDirs(path,outputpath):
    idx = path.find('dungeon')
    subpath = path[idx : ]
    #print subpath
    outputfullpath = os.path.join(outputpath, subpath)
    
    idx = outputfullpath.rfind("/")
    outputfullpath = outputfullpath[0:idx]
    #print outputfullpath
    if not os.path.exists(outputfullpath):
        os.makedirs(outputfullpath)

# 拷贝对应文件
def copyFile(srcfile, outputpath):
    idx = srcfile.find('dungeon')
    subpath = srcfile[idx : len(srcfile)]
    outputfullpath = os.path.join(outputpath, subpath)
    # 拷贝文件
    shutil.copyfile(srcfile, outputfullpath)
    
# main函数
if __name__ == '__main__':

    #以下各变量需要根据实际情况补全，
    # 否则无法运行
    path =      # "需要扫描的目录路径"
    prefix =    # "例如:mapEventMonster_"
    surfix =    # "例如：csv"
    inputfile = # 例如：open('输入文件名（含路径）', 'rb')
    
    allfile = []
    dirlist(path, allfile)

    myDict = setDict(allfile, prefix, surfix)

    ret = list()
    for line in inputfile:
        key = line.strip("\n") + "0"
        getCsvValue(myDict[key], 3, ret)
    ret = list(set(ret)) # 去重
    ret.sort() # 排序
    printList(ret) # 打印
    inputfile.close()