從L個logs中過濾出n個logs
輸入是log dir，output dir，n，core（進(jìn)程數(shù)）

首先調(diào)用do_filter函數(shù)

def do_filter(log_path, out_path, n, core):
    調(diào)用list_dir(log_path)，把返回存到log_names
    調(diào)用utils.multiproc(loader, log_names, core)，把返回存到logs
    調(diào)用find_best([logs], n)，把返回存到best_group和idx
    調(diào)用save_best(out_path, best_group, idx)

接下來依次解釋上面的四個調(diào)用
第一個是獲得log dir下面的所有文件，存在files列表里

def list_dir(path):
    files = []
    調(diào)用了os.listdir(path)#這個函數(shù)會返回這個路徑下的所有文件，是一個列表
    fn遍歷這個列表:
        files.append(os.path.join(path, fn))#把文件路徑加到目錄路徑后面
    返回files

第二個是utils.py里的函數(shù)multiproc，utils.py用到了python的進(jìn)程池
在utils.py里的定義如下：

def multiproc(func, l, core = 4):#對每個log調(diào)用loader，返回所有l(wèi)ogs的name和selector
    pool = Pool(core)#Pool可以提供指定數(shù)量的進(jìn)程供用戶調(diào)用，當(dāng)有新的請求提交到pool時，如果池還沒有滿，那么就會創(chuàng)建一個新的進(jìn)程來執(zhí)行該請求，如果池中的進(jìn)程數(shù)已經(jīng)達(dá)到規(guī)定最大值，那么該請求就會等待至池中有進(jìn)程結(jié)束
    ret = pool.map(func, l)#把log_names中的每個文件傳入loader()，返回列表
    pool.terminate()
    返回ret

loader是傳進(jìn)去的第一個參數(shù)

def loader(path):#整理log的name和selector，不知道name和selector具體是什么
    ret = []
    以rb方式打開path，把數(shù)據(jù)讀取到data中
    idx遍歷data：
        調(diào)用parse_name(data[idx])，存到name
        調(diào)用parse_selector(data[idx])，存到selector
        調(diào)用merge(name, selector)，存到hval
        ret.append(hval)
        idx += 2
    返回path，ret

def parse_name(data):
    把data以'\''分開，并返回數(shù)組idx為1的元素

def parse_selector(data):#返回selector的十六進(jìn)制
    如果'selector'在data里：
        把data以'selector'分開，取數(shù)組idx為1的元素，再以'\'value\':'分開，去idx為1的元素，再以','分開，取idx為0的元素，存到ret中
        ret去掉首尾空格后取ret[2:]，再轉(zhuǎn)換為十六進(jìn)制
        返回ret
    返回None

def merge(name, selector):#把name和seletor連接起來后變成一個整數(shù)值
    ret = name
    如果selector不為空:
        ret = name后面逗號后面selector
    返回ret.__hash__()#hash就是將（可能是復(fù)雜的）值縮減為小整數(shù)值的計算

第三個是find_best()，為什么在調(diào)用這個函數(shù)的時候還要在logs外面套一個[]，log本來就已經(jīng)是列表了啊

def find_best(groups, n):
    before = None
    idx = 0
    while len(groups) != 0:#groups的長度始終為1？
        before = groups
        groups = categorize(groups, idx)
        如果pick_best(groups, n)的返回是None:
            返回pick_best(before, n), idx
        idx += 1
    utils.error('find_best error')

def categorize(groups, idx):
    ret = []
    遍歷groups里的group：
        tmp = {}
        for fn, hvals in group:
            hval = get(hvals, idx)
            如果hval不在tmp里:
                tmp[hval] = []
            tmp[hval].append((fn, hvals))
        for hval in tmp:
            如果hval不為空:
                ret.append(tmp[hval])
    返回ret

def get(l, idx):
    if len(l) > idx :
        返回l(idx)
    返回None

def pick_best(groups, n):
    for group in groups:
        如果group的長度大于n:
            返回group的前n個元素
    返回None

第四個是save_best()，把上一步得到的結(jié)果存入文件

def save_best(path, best_group, idx):
    for fn, _ in best_group:
        把fn以'/'分開，取最后一個元素存入name
        以rb方式打開fn:
            把fn里的數(shù)據(jù)以'\n'分開，取第一個到倒數(shù)第二個，存入data
        以wb方式打開path+name:
            把data[:idx*2]寫入文件 

要理解filter.py需要知道生成的log文件是什么樣的格式