一、Python程序执行原理
1.一个小程序
# [demo.py]
class A(object):
pass
def func():
a = 5
b = 2
print 'hello coco!'
a = A()
func()
对于如上一个简单程序，稍有python编程经验都能理轻松理解。执行指令：
python demo.py
如我们预期，程序会产生执行结果：
hello coco!
2.执行流程
如上所示，一个文本文件demo.py，经过python施加魔法后变成机器指令并执行起来。那么python内部究竟是如何运作呢？如我们所知，python是一门解释性语言，它的执行流程与Java、C#这些解释型语言一样可以用两个词概括编译、解析。
1）编译
对于上述的python程序，执行后细心的同学会发现程序文件夹多了一个demo.pyc文件。事实上，这个pyc文件就是对demo.py文件的编译结果。编译结果是一个称之为python字节码序列（为运行时Python虚拟机所执行的指令）。python字节码与机器指令码很相似:
12 MAKE_FUNCTION 0
15 CALL_FUNCTION 0
18 BUILD_CLASS
19 STORE_NAME
先把python文件编译成字节码主要有两个好处，第一方面也是最重要的：跨平台是python的一大特性，不同机器的机器指令是不同的，将代码先编译为python解释器识别的字节码，运行时可以根据不同机器执行相应的机器指令；第二方面，将python先编译成字节码可以提升运行性能，将编译内容事先存储到pyc文件中(pyc文件中不单存储了字节码信息)，如无修改运行时无需再次编译。
2）解释
python解释器首先将python文件编译为字节码，解释为字节码后python的解析器-python虚拟机就开始接手所有的工作：依次读入每条字节码指令并逐条执行。
二、PyCodeObject
如上我们大概了解了python的执行流程以及python字节码的概念，接下来将深入源码探索python实现这些机制的内部细节。首先看python的编译过程，如前说到python将编译结果字节码存储到pyc文件中，事实上这个结论还不够全面。pyc中除了字节码还存储了很多python程序运行时信息包括定义的字符串、常量等。python的编译结果的的奥秘全部藏在PyCodeObject中，PyCodeObject是python中的一个命名空间(命名空间指的是有独立变量定义的Code block如函数、类、模块等)的编译结果在内存中的表示。
/* code.h */
/* Bytecode object */
typedef struct {
PyObject_HEAD
int co_argcount; /* #arguments, except *args */
int co_nlocals; /* #local variables */
int co_stacksize; /* #entries needed for evaluation stack */
int co_flags; /* CO_..., see below */
PyObject *co_code; /* instruction opcodes */
PyObject *co_consts; /* list (constants used) */
PyObject *co_names; /* list of strings (names used) */
PyObject *co_varnames; /* tuple of strings (local variable names) */
PyObject *co_freevars; /* tuple of strings (free variable names) */
PyObject *co_cellvars; /* tuple of strings (cell variable names) */
/* The rest doesn't count for hash/cmp */
PyObject *co_filename; /* string (where it was loaded from) */
PyObject *co_name; /* string (name, for reference) */
int co_firstlineno; /* first source line number */
PyObject *co_lnotab; /* string (encoding addr<->lineno mapping) See Objects/lnotab_notes.txt for details. */
void *co_zombieframe; /* for optimization only (see frameobject.c) */
PyObject *co_weakreflist; /* to support weakrefs to code objects */
} PyCodeObject;
从源码中可以看到PyCodeObject中包含了co_argcount和co_nlocals等字段，这些字段的内容如下表：
- co_nlocals : Code Block中局部变量个数，包括其位置参数个数
- co_stacksize : 执行该段Code Block需要的栈空间
- co_code : Code Block编译得到的字节码指令序列，以PyStringObject的形式存在
- co_consts: PyTupleObject，保存Code Block中的所有常量
- co_names: PyTupleObject, 保存Code Block中的所有符号
- co_varnames: Code Block中的局部变量名集合
- co_freevars : Python实现闭包存储内容
- co_cellvars : Code Block中内部嵌套函数所引用的局部变量名集合
- co_filename : Code Block对应的.py文件的完整路径
- co_name : Code Block的名字，通常是函数名或类名
python层的code对象与PyCodeObject对应，通过python的compile接口可以查看code对象（即PyCodeObject对象）。
>>> source = open('demo.py').read()
>>> co = compile(source,'demo.py', 'exec')
>>> type(co)
<type 'code'>
>>> dir(co)
['__class__', '__cmp__', '__delattr__', '__doc__', '__eq__', '__format__', '__ge__',
'__getattribute__', '__gt__', '__hash__', '__init__', '__le__', '__lt__', '__ne__',
'__new__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__sizeof__',
'__str__', '__subclasshook__', 'co_argcount', 'co_cellvars', 'co_code', 'co_consts',
'co_filename', 'co_firstlineno', 'co_flags', 'co_freevars', 'co_lnotab', 'co_name',
'co_names', 'co_nlocals', 'co_stacksize', 'co_varnames']
>>> co.co_names
('object', 'A', 'func', 'a')
>>> co.co_filename
'demo.py'
三、持久化PyCodeObject
PyCodeObject中不仅存储了代码对应的字节码指令序列，还保存了代码的运行时信息。PyCodeObject是这些信息在内存中的表示，为以后执行能重复利用这些编译信息，减少编译时间（在代码未改变的情况下），python解释器会把这些信息序列化到pyc文件中。
/*import.c*/
static void write_compiled_module(PyCodeObject *co, char *cpathname, struct stat *srcstat, time_t mtime)
{
PyMarshal_WriteLongToFile(pyc_magic, fp, Py_MARSHAL_VERSION);
/* First write a 0 for mtime */
PyMarshal_WriteLongToFile(0L, fp, Py_MARSHAL_VERSION);
PyMarshal_WriteObjectToFile((PyObject *)co, fp, Py_MARSHAL_VERSION);
}
pyc文件中会记录把编译的版本号，编译时间、PyCodeObject等信息序列化到pyc文件中，实际的序列化过程在marshal.c中实现：
/*marshal.c*/
void PyMarshal_WriteObjectToFile(PyObject *x, FILE *fp, int version)
{
WFILE wf;
wf.fp = fp;
wf.error = WFERR_OK;
wf.depth = 0;
wf.strings = (version > 0) ? PyDict_New() : NULL;
wf.version = version;
w_object(x, &wf);
Py_XDECREF(wf.strings);
}
static void w_object(PyObject *v, WFILE *p)
{
Py_ssize_t i, n;
p->depth++;
if (p->depth > MAX_MARSHAL_STACK_DEPTH) {
p->error = WFERR_NESTEDTOODEEP;
}
else if (v == NULL) {
w_byte(TYPE_NULL, p);
}
else if ...
四、Python字节码
在opcode.h中定义了python的字节码指令定义。
/* opcode.h*/
/* Instruction opcodes for compiled code */
#define LOAD_CONST 100 /* Index in const list */
#define LOAD_NAME 101 /* Index in name list */
#define BUILD_TUPLE 102 /* Number of tuple items */
#define BUILD_LIST 103 /* Number of list items */
#define BUILD_SET 104 /* Number of set items */
#define BUILD_MAP 105 /* Always zero for now */
#define LOAD_ATTR 106 /* Index in name list */
python中也提供了dis工具可以查看PyCodeObject对应的字节码指令：
>>> source = open('demo.py').read()
>>> co = compile(source, 'demo.py', 'exec')
>>> import dis
>>> dis.dis(co)
1 0 LOAD_CONST 0 ('A')
3 LOAD_NAME 0 (object)
6 BUILD_TUPLE 1
9 LOAD_CONST 1 (<code object A at 0x7f993a73adb0, file "demo.py", line 1>)
12 MAKE_FUNCTION 0
15 CALL_FUNCTION 0
18 BUILD_CLASS
19 STORE_NAME 1 (A)
4 22 LOAD_CONST 2 (<code object func at 0x7f993a662a30, file "demo.py", line 4>)
25 MAKE_FUNCTION 0
28 STORE_NAME 2 (func)
9 31 LOAD_NAME 1 (A)
34 CALL_FUNCTION 0
37 STORE_NAME 3 (a)
10 40 LOAD_NAME 2 (func)
43 CALL_FUNCTION 0
46 POP_TOP
47 LOAD_CONST 3 (None)
50 RETURN_VALUE
网友评论