image

Python，是一个设计优美的解释型高级语言，它提供了很多能让程序员感到舒适的功能特性。

但有的时候，Python一些特性导致的输出结果，对于初学者就很难理解了。

一个解析51项堪称是“秘密”的Python特性项目，在GitHub上彻底火了。

英文原版已经拿到了近15000星，中文翻译版也获得了7500+星。

image image

项目中的部分内容，也许你听说过，但依然可能会透露一些你所不知道的Python有趣特性。

Python学习交流群：835017344，这里是python学习者聚集地，有大牛答疑，有资源共享！有想学习python编程的，或是转行，或是大学生，还有工作中想提升自己能力的，正在学习的小伙伴欢迎加入学习。

我觉得这是学习编程语言内部原理的好机会，而且我相信你也会从中获得乐趣!

如果你是一位经验比较丰富的Python程序员，你可以试试能否一次就找到正确答案。

也许你对其中的一些例子比较熟悉，那这些案例能唤起你当年踩坑时的甜蜜回忆。

这个项目的中文版全文大约2万字，干货多的快要溢出来了，大家可以先看一下目录。

image

示例结构

所有示例的结构都如下所示:

一个精选的标题

准备代码.

释放魔法...

Output (Python version)：

触发语句

出乎意料的输出结果

(可选): 对意外输出结果的简短描述。

说明:

简要说明发生了什么以及为什么会发生。

如有必要，举例说明

Output:

触发语句#一些让魔法变得容易理解的例子

一些正常的输入

注意：所有的示例都在Python3.5.2版本的交互解释器上测试过，如果不特别说明应该适用于所有Python版本。

用法

我个人建议，最好依次阅读下面的示例，并仔细阅读设置例子最开始的代码。

阅读输出结果

• 确认结果是否如你所料.

• 确认你是否知道这背后的原理

示例

微妙的字符串

<pre class="prettyprint hljs ruby" style="padding: 0.5em; font-family: Menlo, Monaco, Consolas, "Courier New", monospace; color: rgb(68, 68, 68); border-radius: 4px; display: block; margin: 0px 0px 1.5em; font-size: 14px; line-height: 1.5em; word-break: break-all; overflow-wrap: break-word; white-space: pre; background-color: rgb(246, 246, 246); border: none; overflow-x: auto; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">>>> a = "some_string"

id(a)
140420665652016
id("some" + "_" + "string") # 注意两个的id值是相同的.
140420665652016
</pre>

<pre class="prettyprint hljs ruby" style="padding: 0.5em; font-family: Menlo, Monaco, Consolas, "Courier New", monospace; color: rgb(68, 68, 68); border-radius: 4px; display: block; margin: 0px 0px 1.5em; font-size: 14px; line-height: 1.5em; word-break: break-all; overflow-wrap: break-word; white-space: pre; background-color: rgb(246, 246, 246); border: none; overflow-x: auto; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">>>> a = "wtf"

b = "wtf"
a is b
True

a = "wtf!"
b = "wtf!"
a is b
False

a, b = "wtf!", "wtf!"
a is b
True
</pre>

<pre class="prettyprint hljs ruby" style="padding: 0.5em; font-family: Menlo, Monaco, Consolas, "Courier New", monospace; color: rgb(68, 68, 68); border-radius: 4px; display: block; margin: 0px 0px 1.5em; font-size: 14px; line-height: 1.5em; word-break: break-all; overflow-wrap: break-word; white-space: pre; background-color: rgb(246, 246, 246); border: none; overflow-x: auto; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">>>> 'a' * 20 is 'aaaaaaaaaaaaaaaaaaaa'
True

'a' * 21 is 'aaaaaaaaaaaaaaaaaaaaa'
False
</pre>

说明：

这些行为是由于 Cpython 在编译优化时，某些情况下会尝试使用已经存在的不可变对象，而不是每次都创建一个新对象。(这种行为被称作字符串的驻留[string interning])

发生驻留之后，许多变量可能指向内存中的相同字符串对象。(从而节省内存)

在上面的代码中，字符串是隐式驻留的。何时发生隐式驻留则取决于具体的实现。这里有一些方法可以用来猜测字符串是否会被驻留：

所有长度为 0 和长度为 1 的字符串都被驻留。

字符串在编译时被实现。('wtf' 将被驻留, 但是 ''.join(['w', 't', 'f'] 将不会被驻留)

字符串中只包含字母，数字或下划线时将会驻留。所以 'wtf!' 由于包含！而未被驻留。可以在这里找CPython对此规则的实现。

image

当在同一行将 a 和 b 的值设置为 "wtf!" 的时候, Python 解释器会创建一个新对象, 然后同时引用第二个变量。

如果你在不同的行上进行赋值操作, 它就不会“知道”已经有一个 wtf！ 对象 (因为 "wtf!" 不是按照上面提到的方式被隐式驻留的)。

它是一种编译器优化，特别适用于交互式环境。

常量折叠(constant folding) 是 Python 中的一种窥孔优化(peephole optimization) 技术。

这意味着在编译时表达式 'a'*20 会被替换为 'aaaaaaaaaaaaaaaaaaaa' 以减少运行时的时钟周期。

只有长度小于 20 的字符串才会发生常量折叠。(为啥? 想象一下由于表达式'a'10*10 而生成的 .pyc 文件的大小)相关的源码：

https://github.com/python/cpython/blob/3.6/Python/peephole.c#L288

是时候来点蛋糕了!

<pre class="prettyprint hljs ruby" style="padding: 0.5em; font-family: Menlo, Monaco, Consolas, "Courier New", monospace; color: rgb(68, 68, 68); border-radius: 4px; display: block; margin: 0px 0px 1.5em; font-size: 14px; line-height: 1.5em; word-break: break-all; overflow-wrap: break-word; white-space: pre; background-color: rgb(246, 246, 246); border: none; overflow-x: auto; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">some_dict = {}
some_dict[5.5] = "Ruby"
some_dict[5.0] = "JavaScript"
some_dict[5] = "Python"

Output：

some_dict[5.5]
"Ruby"
some_dict[5.0]
"Python"
some_dict[5]
"Python"

"Python" 消除了 "JavaScript" 的存在?
</pre>

说明：

Python 字典通过检查键值是否相等和比较哈希值来确定两个键是否相同。

具有相同值的不可变对象在Python中始终具有相同的哈希值。

<pre class="hljs ruby" style="padding: 0.5em; font-family: Menlo, Monaco, Consolas, "Courier New", monospace; color: rgb(68, 68, 68); border-radius: 4px; display: block; margin: 0px 0px 0.75em; font-size: 14px; line-height: 1.5em; word-break: break-all; overflow-wrap: break-word; white-space: pre; background-color: rgb(246, 246, 246); border: none; overflow-x: auto; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">>>> 5 == 5.0
True

hash(5) == hash(5.0)
True
</pre>

注意: 具有不同值的对象也可能具有相同的哈希值（哈希冲突）。

当执行 some_dict[5] = "Python" 语句时, 因为Python将 5 和 5.0 识别为 some_dict 的同一个键, 所以已有值 "JavaScript" 就被 "Python" 覆盖了。

到处返回！

<pre class="prettyprint hljs python" style="padding: 0.5em; font-family: Menlo, Monaco, Consolas, "Courier New", monospace; color: rgb(68, 68, 68); border-radius: 4px; display: block; margin: 0px 0px 1.5em; font-size: 14px; line-height: 1.5em; word-break: break-all; overflow-wrap: break-word; white-space: pre; background-color: rgb(246, 246, 246); border: none; overflow-x: auto; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">def some_func():
try:
return 'from_try'
finally:
return 'from_finally'

Output：

some_func()

'from_finally'
</pre>

说明：

当在 "try...finally" 语句的 try 中执行 return, break 或 continue 后, finally 子句依然会执行。

函数的返回值由最后执行的 return 语句决定。

由于 finally 子句一定会执行, 所以 finally 子句中的 return 将始终是最后执行的语句。

本质上,我们都一样

<pre class="prettyprint hljs ruby" style="padding: 0.5em; font-family: Menlo, Monaco, Consolas, "Courier New", monospace; color: rgb(68, 68, 68); border-radius: 4px; display: block; margin: 0px 0px 1.5em; font-size: 14px; line-height: 1.5em; word-break: break-all; overflow-wrap: break-word; white-space: pre; background-color: rgb(246, 246, 246); border: none; overflow-x: auto; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">class WTF:
pass

Output：

WTF() == WTF() # 两个不同的对象应该不相等

False

WTF() is WTF() # 也不相同

False

hash(WTF()) == hash(WTF()) # 哈希值也应该不同

True

id(WTF()) == id(WTF())

True
</pre>

说明：

当调用 id 函数时, Python 创建了一个 WTF 类的对象并传给 id 函数。

然后 id 函数获取其id值 (也就是内存地址), 然后丢弃该对象. 该对象就被销毁了。

当我们连续两次进行这个操作时, Python会将相同的内存地址分配给第二个对象。 因为 (在CPython中) id 函数使用对象的内存地址作为对象的id值, 所以两个对象的id值是相同的。

综上, 对象的id值仅仅在对象的生命周期内唯一。在对象被销毁之后, 或被创建之前, 其他对象可以具有相同的id值。

那为什么 is 操作的结果为 False 呢? 让我们看看这段代码：

<pre class="prettyprint hljs python" style="padding: 0.5em; font-family: Menlo, Monaco, Consolas, "Courier New", monospace; color: rgb(68, 68, 68); border-radius: 4px; display: block; margin: 0px 0px 1.5em; font-size: 14px; line-height: 1.5em; word-break: break-all; overflow-wrap: break-word; white-space: pre; background-color: rgb(246, 246, 246); border: none; overflow-x: auto; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">class WTF(object):
def init(self): print("I")
def del(self): print("D")

Output：

WTF() is WTF()
I
I
D
D
False
id(WTF()) == id(WTF())
I

WTF() == WTF() # 两个不同的对象应该不相等

False

>>> WTF() is WTF() # 也不相同

False

>>> hash(WTF()) == hash(WTF()) # 哈希值也应该不同

True

>>> id(WTF()) == id(WTF())

True
</pre>

说明：

当调用 id 函数时, Python 创建了一个 WTF 类的对象并传给 id 函数。

然后 id 函数获取其id值 (也就是内存地址), 然后丢弃该对象. 该对象就被销毁了。

当我们连续两次进行这个操作时, Python会将相同的内存地址分配给第二个对象。 因为 (在CPython中) id 函数使用对象的内存地址作为对象的id值, 所以两个对象的id值是相同的。

综上, 对象的id值仅仅在对象的生命周期内唯一。在对象被销毁之后, 或被创建之前, 其他对象可以具有相同的id值。

那为什么 is 操作的结果为 False 呢? 让我们看看这段代码：

<pre class="prettyprint hljs python" style="padding: 0.5em; font-family: Menlo, Monaco, Consolas, "Courier New", monospace; color: rgb(68, 68, 68); border-radius: 4px; display: block; margin: 0px 0px 1.5em; font-size: 14px; line-height: 1.5em; word-break: break-all; overflow-wrap: break-word; white-space: pre; background-color: rgb(246, 246, 246); border: none; overflow-x: auto; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">class WTF(object):
def init(self): print("I")
def del(self): print("D")

Output：

>>> WTF() is WTF()
I
I
D
D
False
>>> id(WTF()) == id(WTF())
I
D
I
D
True
</pre>

正如你所看到的, 对象销毁的顺序是造成所有不同之处的原因。

为什么?

<pre class="prettyprint hljs ruby" style="padding: 0.5em; font-family: Menlo, Monaco, Consolas, "Courier New", monospace; color: rgb(68, 68, 68); border-radius: 4px; display: block; margin: 0px 0px 1.5em; font-size: 14px; line-height: 1.5em; word-break: break-all; overflow-wrap: break-word; white-space: pre; background-color: rgb(246, 246, 246); border: none; overflow-x: auto; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">some_string = "wtf"
some_dict = {}
for i, some_dict[i] in enumerate(some_string):
pass

Output：

some_dict # 创建了索引字典.
{0: 'w', 1: 't', 2: 'f'}
</pre>

说明：

Python 语法 中对 for 的定义是：

<pre class="hljs less" style="padding: 0.5em; font-family: Menlo, Monaco, Consolas, "Courier New", monospace; color: rgb(68, 68, 68); border-radius: 4px; display: block; margin: 0px 0px 0.75em; font-size: 14px; line-height: 1.5em; word-break: break-all; overflow-wrap: break-word; white-space: pre; background-color: rgb(246, 246, 246); border: none; overflow-x: auto; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">for_stmt: 'for' exprlist 'in' testlist ':' suite ['else' ':' suite]
</pre>

其中 exprlist 指分配目标. 这意味着对可迭代对象中的每一项都会执行类似 {exprlist} = {next_value} 的操作。

一个有趣的例子说明了这一点：

<pre class="hljs vim" style="padding: 0.5em; font-family: Menlo, Monaco, Consolas, "Courier New", monospace; color: rgb(68, 68, 68); border-radius: 4px; display: block; margin: 0px 0px 0.75em; font-size: 14px; line-height: 1.5em; word-break: break-all; overflow-wrap: break-word; white-space: pre; background-color: rgb(246, 246, 246); border: none; overflow-x: auto; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">for i in range(4):
print(i)
i = 10

Output:

0
1
2
3
</pre>

你可曾觉得这个循环只会运行一次?

说明:

由于循环在Python中工作方式, 赋值语句 i = 10 并不会影响迭代循环, 在每次迭代开始之前, 迭代器(这里指 range(4)) 生成的下一个元素就被解包并赋值给目标列表的变量(这里指 i)了。

在每次迭代中, enumerate(some_string) 函数就生成一个新值 i (计数器增加) 并从 some_string 中获取一个字符。

然后将字典 some_dict 键 i (刚刚分配的) 的值设为该字符。本例中循环的展开可以简化为:

<pre class="prettyprint hljs ruby" style="padding: 0.5em; font-family: Menlo, Monaco, Consolas, "Courier New", monospace; color: rgb(68, 68, 68); border-radius: 4px; display: block; margin: 0px 0px 1.5em; font-size: 14px; line-height: 1.5em; word-break: break-all; overflow-wrap: break-word; white-space: pre; background-color: rgb(246, 246, 246); border: none; overflow-x: auto; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">>>> i, some_dict[i] = (0, 'w')

i, some_dict[i] = (1, 't')
i, some_dict[i] = (2, 'f')
some_dict
</pre>

执行时机差异

<pre class="prettyprint hljs php" style="padding: 0.5em; font-family: Menlo, Monaco, Consolas, "Courier New", monospace; color: rgb(68, 68, 68); border-radius: 4px; display: block; margin: 0px 0px 1.5em; font-size: 14px; line-height: 1.5em; word-break: break-all; overflow-wrap: break-word; white-space: pre; background-color: rgb(246, 246, 246); border: none; overflow-x: auto; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">array = [1, 8, 15]
g = (x for x in array if array.count(x) > 0)
array = [2, 8, 22]

Output：

print(list(g))
[8]
</pre>

<pre class="prettyprint hljs ruby" style="padding: 0.5em; font-family: Menlo, Monaco, Consolas, "Courier New", monospace; color: rgb(68, 68, 68); border-radius: 4px; display: block; margin: 0px 0px 1.5em; font-size: 14px; line-height: 1.5em; word-break: break-all; overflow-wrap: break-word; white-space: pre; background-color: rgb(246, 246, 246); border: none; overflow-x: auto; font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; text-decoration-style: initial; text-decoration-color: initial;">array_1 = [1,2,3,4]
g1 = (x for x in array_1)
array_1 = [1,2,3,4,5]

array_2 = [1,2,3,4]
g2 = (x for x in array_2)
array_2[:] = [1,2,3,4,5]

Output：

print(list(g1))
[1,2,3,4]

print(list(g2))
[1,2,3,4,5]
</pre>

说明：

在生成器表达式中, in 子句在声明时执行, 而条件子句则是在运行时执行。

所以在运行前, array 已经被重新赋值为 [2, 8, 22], 因此对于之前的 1, 8 和 15, 只有 count(8) 的结果是大于 0 的, 所以生成器只会生成 8。

第二部分中 g1 和 g2 的输出差异则是由于变量 array_1 和 array_2 被重新赋值的方式导致的。

在第一种情况下, array_1 被绑定到新对象 [1,2,3,4,5], 因为 in 子句是在声明时被执行的，所以它仍然引用旧对象 1,2,3,4。

在第二种情况下, 对 array_2 的切片赋值将相同的旧对象 [1,2,3,4] 原地更新为 [1,2,3,4,5]。

因此 g2 和 array_2 仍然引用同一个对象(这个对象现在已经更新为 [1,2,3,4,5])。

本文内容来自中文版项目，项目全文2万多字，以及海量代码。