读写给大家的AI极简史笔记06超智能.png

1. HAL

1.1. 斯坦利·库布里克（Stanley Kubrick）的电影《2001：太空漫游》（2001：A Space Odyssey）

1.2. 人类创造了一个人造助手为其服务

1.2.1. 助手却学会了如何学习，从而超越了它的创造者，最终发展出了自己的兴趣，还制定了自己的目标

1.2.2. “傀儡”不再受控制

1.3. 尼克·博斯特罗姆

1.3.1. Nick Bostrom

1.3.2. 牛津大学哲学教授

1.3.3. 畅销书《超智能》（Superintelligence）

1.3.3.1. 描述了人工智能系统一旦超过人类的认知能力就会变成du立个体的场景

1.3.3.2. 机器人要想获得du立，至少需要几十年，甚至几个世纪

1.3.3.3. 在这漫长的过程中，人类却可以在社会和文化上适应这个新的智能物种

1.4. “智能大爆炸”（intelligence explosion）的可能性更大

1.4.1. 一旦机器比人类更聪明，它们就可以在几个月内，甚至在几分钟内创造出更智能的自己，并不断升级

1.4.2. 反馈回路可能导致人工智能的智力呈指数式增长

1.4.3. “能决定世界秩序的最高决策层只有一个代理人”

1.5. 人工智能“比核武器更危险”

1.5.1. 特斯拉（Tesla）的创始人伊隆·马斯克（Elon Musk）

2. 超人类主义

2.1. 启示论者和乌托邦分子因为对弱人工智能的实际发展过程和困难的无知而一再陷入过时的对强人工智能的恐惧

2.1.1. 事实上，让我们恐惧的理由并不多

2.2. 目前并没有导向智能大爆炸的清晰的道路

2.2.1. 发生智能大爆炸的一个技术前提是计算性能的指数增长，同时伴随着计算机芯片的持续变小

2.2.2. 在到达某个临界点后，量子力学定律开始起作用，粒子会变得混乱，并从一个传导路径跳到另一个传导路径

2.3. 朱利安·奈达·鲁梅林

2.3.1. Julian Nida-Rümelin

2.3.2. 逻辑学家和哲学家

2.3.3. 哥德尔（Gödel）的不完全性定理（incompleteness theorems）定义了机器智能的极限

2.3.4. 可以从数学上证明，许多问题在逻辑上无法解决，形式系统中的语句的推导是有极限的

2.3.4.1. 意味着总是存在一些既不能被证明也不能被证伪的陈述和问题

2.3.4.2. 没有任何一台靠数学解决问题的机器能够超越这些逻辑边界

2.4. DeepMind正在研究内置断路器在未来如何避免系统走上自我解放的道路

2.5. 没有人知道计算机在几百年后能发展到什么程度

2.5.1. 过度鼓吹超级智能会灭绝人类的假想可能会产生不必要的副作用

2.5.2. 它将会分散我们的注意力，让我们忽略弱人工智能快速发展所带来的真正危险

2.5.3. 最重要的危险可以概括为三类：数据垄断、操纵人类个体和正文腐滥用数据

3. 数据垄断

3.1. 卡尔·马克思（Karl Marx）告诉我们资本主义倾向于市场集中化

3.2. 反垄断法

3.2.1. 来防止垄断

3.3. 数字平台运营商已经成功地占领了铁路巨头、汽车制造商和披萨生产商望尘莫及的市场份额

3.3.1. 数字服务的客户越多，网络效应就使得服务质量越高

3.3.2. 家国反垄断法、欧洲反垄断法对此束手无策

3.4. 没有竞争，市场经济就不可能维持长期繁荣，因为这与它的本质相矛盾

3.5. 数据是人工智能的原材料

3.5.1. 只有当这种原材料能被各家公司所用，公司之间的竞争才会成为可能，我们才能确保人工智能系统的长期多样性

4. 操纵人类个体

4.1. 虚拟助手的行为代表着谁的利益？

4.1.1. 大多数机器人和数字助手都是变相的销售人员

4.2. Alexa的开发和运营商是亚马逊，而不是一家代表消费者在所有在线商店中寻找最佳商品的初创公司

4.2.1. 只要它是透明的，只要我们没有被暗中利用，它就是合法的

4.3. 当世界上有无数个人工智能助手以后，我们很快就会搞不清楚谁有可能愚弄我们

4.4. 我们无法确切地知道是谁在给我们提供建议

4.4.1. 在很多情况下，我们甚至会支付额外的费用，让这些科技“保姆”宠溺我们

4.5. 考虑在机器把人类“婴儿化”的进程中划上一条底线

4.5.1. 我们要为技术剥夺我们的权利承担起责任

4.5.2. 家国和市场需要确保消费者能选择中立的机器人，就像du立于供应商的价格比对引擎那样

4.5.3. 需要有一系列批准程序，应该叫停不公平操纵甚至欺诈用户的代理商

4.5.4. 所有这些的前提是一个法治家国，而且这个家国本身不使用人工智能来欺骗它的弓民

5. 数字砖挣

5.1. 正文腐滥用弱人工智能对弓民进行大规模操纵、监视和镇压

5.1.1. 米国将监控摄像机和自动面部识别结合起来，就能知道谁闯了红灯

5.1.2. 无人驾驶飞机上的监视摄像机可以直接追踪流浪者

5.1.3. 电子窃听装置中的语音识别功能不仅可以识别谁在说话，还可以确定说话人的情绪状态

5.1.4. 来自智能手机的位置信息和健康数据、应用内支付历史和信用历史、数字化人事档案和实时犯罪记录提供了计算弓民信誉所需的所有信息，当然这也为秘密敬嚓高效开展工作提供了方便

5.1.5. 这个全能的家国自然也有社交机器人来散播个性化的正文治信息

5.2. 人工智能甚至可以从照片中识别出性偏好，而且准确率很高

5.3. 社交媒体和在线聊天应用的自动文本分析系统可以实时识别危险的想法

5.4. 数字工具不是暴正文所必需的——历史已经证明了这一点

5.4.1. 在智能机器时代，压迫人名的问题又被提上议程

5.4.2. 精通科技的正文权正在为du裁制作新衣

5.4.3. 在人工智能驱动的du裁统治中，压迫比穿制服的土兵或敬嚓更微妙

5.4.4. 数据会告诉正文腐如何推动弓民做出家国所期望的行为

6. 新机器伦理

6.1. 不需要害怕人工智能会变成sha人狂，而是应该更害怕滥用

6.2. 人的尊严是神圣不可侵犯的

6.2.1. 在战争中，如果一个将军牺牲5名土兵就能救出10个人，那他是可以做这样的决定的

6.2.2. 但理论上，没有人会被允许在日常生活中这样做

6.3. 在许多情况下，决策的自动化也是伦理挑战，但同时从道德层面看，它是势在必行的

6.4. 如果我们能够用机器识别癌细胞的模式，从而挽救许多癌症患者的生命，我们就不能让医生游说团体阻碍了前进的步伐，因为医生游说团体关心的是如何保护他们的收入

6.5. 人工智能的确改变了人类和机器之间的基本关系，但比一些人工智能开发者认为的要少

6.5.1. 人类仍然需要做出重要的决定，包括需要多少机器辅助才恰到好处

6.6. 人类的历史是人类决策的总和

6.7. 数字革命让我们在历史上第一次将这种人文主义理想付诸实践——通过智慧地运用人工智能，为人类造福