进行性能优化首先要分析性能（也就是运行时间）的瓶颈，以获得最大加速比。程序中也符合二八法则，即20%的代码需要80%的时间，甚至更加极端，某一段代码的小幅提升在上万次的调用中是性能质的飞跃。
分析函数运行情况的工具包包括cprofile, line_profile,timeit，当然也可以直接用time包手写定义自己需要的。
注意，cprofile无法用于多线程，会有pickle错误。 逐行分析定位比较好用的有：line_profiler。
Timeit
https://docs.python.org/2/library/timeit.html
Jupyter 里小程序用很好用 %timeit，
一个cell 或者一行代码的简单示范
%%timeit
for i in range(100):
pass
输出
1.56 µs ± 38.5 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)
命令行中使用的简单示范
$ python3 -m timeit '"-".join(str(n) for n in range(100))'
10000 loops, best of 3: 30.2 usec per loop
$ python3 -m timeit '"-".join([str(n) for n in range(100)])'
10000 loops, best of 3: 27.5 usec per loop
$ python3 -m timeit '"-".join(map(str, range(100)))'
10000 loops, best of 3: 23.2 usec per loop
Line profile
if __name__ == "__main__":
prof = LineProfiler() # create profile object
prof.enable()
prof.add_module(train_opt) # module to be analysed
prof.add_function(main) # module to be analysed
prof.add_function(run_one_game)
wrapper = prof(run_one_game)
wrapper(namemark,ncpu,phi,game)
prof.disable()
prof.print_stats(sys.stdout)
Cprofile
1.1 命令行
# 直接把分析结果打印到控制台
python -m cProfile test.py
# 把分析结果保存到文件中
python -m cProfile -o result.out test.py
# 增加排序方式
python -m cProfile -o result.out -s cumulative test.py
代码内置使用方式
if __name__ == "__main__":
import cProfile
*# 直接把分析结果打印到控制台*
cProfile.run("test()")
*# 把分析结果保存到文件中*
cProfile.run("test()", filename="result.out")
*# 增加排序方式*
cProfile.run("test()", filename="result.out", sort="cumulative")
1.2 分析工具
使用cProfile分析的结果可以输出到指定的文件中，但是文件内容是以二进制的方式保存的，用文本编辑器打开时乱码。所以，Python提供了一个pstats模块，用来分析cProfile输出的文件内容。
import pstats
# 创建Stats对象
p = pstats.Stats("result.out")
# strip_dirs(): 去掉无关的路径信息
# sort_stats(): 排序，支持的方式和上述的一致
# print_stats(): 打印分析结果，可以指定打印前几行
# 和直接运行cProfile.run("test()")的结果是一样的
p.strip_dirs().sort_stats(-1).print_stats()
# 按照函数名排序，只打印前3行函数的信息, 参数还可为小数,表示前百分之几的函数信息
p.strip_dirs().sort_stats("name").print_stats(3)
# 按照运行时间和函数名进行排序
p.strip_dirs().sort_stats("cumulative", "name").print_stats(0.5)
# 如果想知道有哪些函数调用了sum_num
p.print_callers(0.5, "sum_num")
# 查看test()函数中调用了哪些函数
p.print_callees("test")
结果类似：
8 function calls in 0.042 seconds
Ordered by: cumulative time
ncalls tottime percall cumtime percall filename:lineno(function)
1 0.000 0.000 0.042 0.042 test.py:5(<module>)
1 0.002 0.002 0.042 0.042 test.py:12(test)
2 0.035 0.018 0.039 0.020 test.py:5(sum_num)
3 0.004 0.001 0.004 0.001 {range}
1 0.000 0.000 0.000 0.000 {method 'disable' of '_lsprof.Profiler' objects}
其中，输出每列的具体解释如下：
ncalls：表示函数调用的次数；
tottime：表示指定函数的总的运行时间，除掉函数中调用子函数的运行时间；
percall：（第一个percall）等于 tottime/ncalls；
cumtime：表示该函数及其所有子函数的调用运行的时间，即函数开始调用到返回的时间；
percall：（第二个percall）即函数运行一次的平均时间，等于 cumtime/ncalls；
filename:lineno(function)：每个函数调用的具体信息；
其他允许的排序方式：calls, cumulative, file, line, module, name, nfl, pcalls, stdname, time等。
网友评论