IMF-filter.py

从L个logs中过滤出n个logs
输入是log dir，output dir，n，core（进程数）

首先调用do_filter函数

def do_filter(log_path, out_path, n, core):
    调用list_dir(log_path)，把返回存到log_names
    调用utils.multiproc(loader, log_names, core)，把返回存到logs
    调用find_best([logs], n)，把返回存到best_group和idx
    调用save_best(out_path, best_group, idx)

接下来依次解释上面的四个调用
第一个是获得log dir下面的所有文件，存在files列表里

def list_dir(path):
    files = []
    调用了os.listdir(path)#这个函数会返回这个路径下的所有文件，是一个列表
    fn遍历这个列表:
        files.append(os.path.join(path, fn))#把文件路径加到目录路径后面
    返回files

第二个是utils.py里的函数multiproc，utils.py用到了python的进程池
在utils.py里的定义如下：

def multiproc(func, l, core = 4):#对每个log调用loader，返回所有logs的name和selector
    pool = Pool(core)#Pool可以提供指定数量的进程供用户调用，当有新的请求提交到pool时，如果池还没有满，那么就会创建一个新的进程来执行该请求，如果池中的进程数已经达到规定最大值，那么该请求就会等待至池中有进程结束
    ret = pool.map(func, l)#把log_names中的每个文件传入loader()，返回列表
    pool.terminate()
    返回ret

loader是传进去的第一个参数

def loader(path):#整理log的name和selector，不知道name和selector具体是什么
    ret = []
    以rb方式打开path，把数据读取到data中
    idx遍历data：
        调用parse_name(data[idx])，存到name
        调用parse_selector(data[idx])，存到selector
        调用merge(name, selector)，存到hval
        ret.append(hval)
        idx += 2
    返回path，ret

def parse_name(data):
    把data以'\''分开，并返回数组idx为1的元素

def parse_selector(data):#返回selector的十六进制
    如果'selector'在data里：
        把data以'selector'分开，取数组idx为1的元素，再以'\'value\':'分开，去idx为1的元素，再以','分开，取idx为0的元素，存到ret中
        ret去掉首尾空格后取ret[2:]，再转换为十六进制
        返回ret
    返回None

def merge(name, selector):#把name和seletor连接起来后变成一个整数值
    ret = name
    如果selector不为空:
        ret = name后面逗号后面selector
    返回ret.__hash__()#hash就是将（可能是复杂的）值缩减为小整数值的计算

第三个是find_best()，为什么在调用这个函数的时候还要在logs外面套一个[]，log本来就已经是列表了啊

def find_best(groups, n):
    before = None
    idx = 0
    while len(groups) != 0:#groups的长度始终为1？
        before = groups
        groups = categorize(groups, idx)
        如果pick_best(groups, n)的返回是None:
            返回pick_best(before, n), idx
        idx += 1
    utils.error('find_best error')

def categorize(groups, idx):
    ret = []
    遍历groups里的group：
        tmp = {}
        for fn, hvals in group:
            hval = get(hvals, idx)
            如果hval不在tmp里:
                tmp[hval] = []
            tmp[hval].append((fn, hvals))
        for hval in tmp:
            如果hval不为空:
                ret.append(tmp[hval])
    返回ret

def get(l, idx):
    if len(l) > idx :
        返回l(idx)
    返回None

def pick_best(groups, n):
    for group in groups:
        如果group的长度大于n:
            返回group的前n个元素
    返回None

第四个是save_best()，把上一步得到的结果存入文件

def save_best(path, best_group, idx):
    for fn, _ in best_group:
        把fn以'/'分开，取最后一个元素存入name
        以rb方式打开fn:
            把fn里的数据以'\n'分开，取第一个到倒数第二个，存入data
        以wb方式打开path+name:
            把data[:idx*2]写入文件 

要理解filter.py需要知道生成的log文件是什么样的格式