现在有一个530W行的数据,每行有3列的数据
使用numpy.loadtxt()
函数
print(timeit(stmt='np.loadtxt(r"data/SC33E021022DEMU_geoh.xyh")',
setup="import numpy as np", number=1))
使用'pandas.read_table',再使用pandas.to_numpy()函数
def open_altitude_pointValue(fin):
try:
apv = {'status': False, 'dates': pd.read_table(fin, header=None, delim_whitespace=True).to_numpy()}
except IOError:
print("没有找到" + fin + "文件")
return apv
else:
apv['status'] = True
return apv
print(timeit(stmt="open_altitude_pointValue(r'data/SC33E021022DEMU_geoh.xyh')",
setup="from cal import open_altitude_pointValue", number=1))
结果是:
11.763681
5.9984097
结论:对于规则的数字文件,使用pandas转numpy比直接使用numpy快