从L个logs中过滤出n个logs
输入是log dir,output dir,n,core(进程数)
首先调用do_filter函数
def do_filter(log_path, out_path, n, core):
调用list_dir(log_path),把返回存到log_names
调用utils.multiproc(loader, log_names, core),把返回存到logs
调用find_best([logs], n),把返回存到best_group和idx
调用save_best(out_path, best_group, idx)
接下来依次解释上面的四个调用
第一个是获得log dir下面的所有文件,存在files列表里
def list_dir(path):
files = []
调用了os.listdir(path)#这个函数会返回这个路径下的所有文件,是一个列表
fn遍历这个列表:
files.append(os.path.join(path, fn))#把文件路径加到目录路径后面
返回files
第二个是utils.py里的函数multiproc,utils.py用到了python的进程池
在utils.py里的定义如下:
def multiproc(func, l, core = 4):#对每个log调用loader,返回所有logs的name和selector
pool = Pool(core)#Pool可以提供指定数量的进程供用户调用,当有新的请求提交到pool时,如果池还没有满,那么就会创建一个新的进程来执行该请求,如果池中的进程数已经达到规定最大值,那么该请求就会等待至池中有进程结束
ret = pool.map(func, l)#把log_names中的每个文件传入loader(),返回列表
pool.terminate()
返回ret
loader是传进去的第一个参数
def loader(path):#整理log的name和selector,不知道name和selector具体是什么
ret = []
以rb方式打开path,把数据读取到data中
idx遍历data:
调用parse_name(data[idx]),存到name
调用parse_selector(data[idx]),存到selector
调用merge(name, selector),存到hval
ret.append(hval)
idx += 2
返回path,ret
def parse_name(data):
把data以'\''分开,并返回数组idx为1的元素
def parse_selector(data):#返回selector的十六进制
如果'selector'在data里:
把data以'selector'分开,取数组idx为1的元素,再以'\'value\':'分开,去idx为1的元素,再以','分开,取idx为0的元素,存到ret中
ret去掉首尾空格后取ret[2:],再转换为十六进制
返回ret
返回None
def merge(name, selector):#把name和seletor连接起来后变成一个整数值
ret = name
如果selector不为空:
ret = name后面逗号后面selector
返回ret.__hash__()#hash就是将(可能是复杂的)值缩减为小整数值的计算
第三个是find_best(),为什么在调用这个函数的时候还要在logs外面套一个[],log本来就已经是列表了啊
def find_best(groups, n):
before = None
idx = 0
while len(groups) != 0:#groups的长度始终为1?
before = groups
groups = categorize(groups, idx)
如果pick_best(groups, n)的返回是None:
返回pick_best(before, n), idx
idx += 1
utils.error('find_best error')
def categorize(groups, idx):
ret = []
遍历groups里的group:
tmp = {}
for fn, hvals in group:
hval = get(hvals, idx)
如果hval不在tmp里:
tmp[hval] = []
tmp[hval].append((fn, hvals))
for hval in tmp:
如果hval不为空:
ret.append(tmp[hval])
返回ret
def get(l, idx):
if len(l) > idx :
返回l(idx)
返回None
def pick_best(groups, n):
for group in groups:
如果group的长度大于n:
返回group的前n个元素
返回None
第四个是save_best(),把上一步得到的结果存入文件
def save_best(path, best_group, idx):
for fn, _ in best_group:
把fn以'/'分开,取最后一个元素存入name
以rb方式打开fn:
把fn里的数据以'\n'分开,取第一个到倒数第二个,存入data
以wb方式打开path+name:
把data[:idx*2]写入文件
要理解filter.py需要知道生成的log文件是什么样的格式