超级智能

想象一下人类技术的发展曲线图，也许你正沿着一个小山坡走着上坡路，可你却不知道马上你就会撞上山崖了。为方便认知，可以直接把这个曲线区别明显的拐点处理解为“奇点”。

只不过，这些智能体并不是以一般智能的方式来实现战胜人类，而只能在某个特定领域超越人类而已

超级智能会发展成什么样子，是积极还是消极，我们不能准确预判。但是有一件事是可以肯定的，那就是从现在开始就要谨慎对待。

这种早期的经典人工智能方法迎来了一个叫作“组合爆炸”的巨大瓶颈。

小规模的系统没有什么太大价值，大规模系统则需要在开发、确认和数据更新上耗费大量成本，在运用时往往也会非常麻烦

回顾人工智能的大起大落，真是分久必合，合久必分。眼看起高楼，眼看宴宾客，眼看楼塌了，又起一座楼。对比每一次起伏和今天人工智能“新风口”的地位，怎不令人唏嘘啊

现状是，人工智能在所有需要“思考”的领域中成功了，却在人和动物不用思考的直觉领域经受着挑战

这个理论，结合模拟进化过程的遗传算法，以得到类似生物进化的结果，成为实现人工智能的一种方法。

另外一种实现人工智能的可行方法是研究人类大脑，以大脑作为机器智能的模板

综上，以哪种原理设计人工智能的讨论尚无定论。但是，有一件事应该强调：人工智能不需要模仿人类的心智。事实上，人工智能极有可能与人类的心智不同。

1.人脑—计算机交互界面

2.网络和组织

我们可以通过区分智能层面的超级能力，将超级智能的这种简单定义分解为：高速超级智能、集体超级智能和素质超级智能。

1.高速超级智能

高速超级智能是指和人脑相似，但速度快于人脑的智能。该系统可以完成人类智能可以完成的所有事，但是速度快若干个数量级。

2.集体超级智能

集体超级智能是一种通过整合大量小型智能，实现卓越性能的系统。该系统由数目庞大的小型智能组成，在很多一般领域的整体性能上都大大超过所有现有的认知系统。

素质超级智能是一个至少和人类大脑一样快，并且聪明程度与人类相比有巨大的质的超越的系统。

作者认为，随着时间的推移，任何一种形式的超级智能都可以开发出创建其他智能形式所必要的技术。也就是说，刚才提到的三种超级智能形式是可以相互促进和转化的，

未来的系统还会变得更聪明，智能大爆发的过程将会经历一个标志点，我们称之为跨界点。此点之后，机器智能水平的提高便将主要依靠自身而非他人的行动。

1．反抗度

2.最优化力与爆发

一个重要的问题是，国家政府或国际组织是否能够预见智能爆发的到来。

在思考超级智能的潜在影响时，最好不要将其拟人化。

完全成熟的超级智能能够出色地完成上述各种任务，具有全套的六种超级能力

单一体是指，一个有足够内部协调、无外部反对者的政治结构

按照这样的定义，在任意时间最多只能有一个超级智能体拥有一项特定的超级能力。

工具性趋同论点认为，我们能够识别出一些工具性价值观，实现这些价值观能够提高系统实现目标的可能性，因此这些价值观是趋同的

超级智能

我们已经分析过，智能与最终价值观之间的关联非常弱。

存在性危险，是指导致地球上的智能生命灭亡或者使其永久性地彻底失去未来发展潜能的威胁。

超级智能

当人工智能从愚蠢变聪明时是安全的，这样会避免我们在使用人工智能的时候遭遇许多事故。

总结：

超级智能具有全套的六种超级能力。

出于正交性观点和工具性趋同观点，我们在面对超级智能如何对待人类的问题上，不应该太乐观。

面对人工智能可能导致的存在性灾难的发生，我们把解决这个问题的方法分为两大类：能力控制和动机控制。

即只要一个人类实体委托人指定另一个人类实体代理人去实现其利益，就会出现第一委托代理问题。

当一个项目想要确定他建造的超级智能会不会侵犯项目本身的利益时，就会出现“第二委托代理问题”，也就是人类与超级智能之间的委托代理问题

能力控制方法旨在通过限制超级智能能够做的事情来防止不好的结局出现

超级智能 动机选择方法旨在通过影响人工智能想要做什么来防止不好的结果出现。作者也提到了几种可能的方法。 超级智能

神谕是指一个回答问题的系统，有点像iPhone当中的Siri，神谕可能能够接受自然语言的提问，并用文字方式呈现答案。

精灵是指一个命令执行系统。他接受上级命令，执行命令，然后等待下一个命令。主权是指为了实现某些笼统的、可能非常漫长的目标，被授权可以无限制地在这个世界上运行的一个系统

超级智能

与其在实施强大的寻找过程（包括寻找内部工作计划的过程和直接寻找符合使用者定义标准的方案的过程）中自发且偶然地产生类似代理的具有目的性的行为模式，可能还不如直接建造代理

总之我们已经看到，即使多极状态可以在稳定的形势下达到，还是不能保证有一个具有吸引力的结局。

超级智能

即使有了人类水平的机器智能，如何将人类价值观转入电子计算机依然不清楚。

认知提升是有益的，至少是当我们把重点放在智能爆发的的存在性风险上的时候

值得重点强调的是合作的重要性，合作会带来很多好处，能降低机器智能研发过程中的草率程度

在智能爆发的前景之下，我们人类就像拿着炸弹玩的孩子。