防范人工智能

当前 AI (尤其是深度学习）在基本原理上有两个问题，一个是认知模式，另一个训练模型的方法。前者我们是利用函数描述输入输出之间相关关系，以一条曲线去拟合样本的结构，这是一个归纳学习的过程。后者为了让真实值和预测值之间误差最小，会通过一个反向传播过程利用梯度下降基于链式法则传递误差训练参数，但是在人脑中没有明确的看到这样一个反馈过程。

        这种缺乏因果链的结论，演绎逻辑缺失方法很难让人相信机器是理解了问题。首次训练计算资源开销大，训练好的模型迁移应用效果也不好。

        但是机器在单个领域不断超过人类水平，这是不争事实。 Alfa zero 和医学影像识别上是个典型，全面超越人类的奇点时刻也许并不遥远。其危害已从可能变为真实存在，真不希望西部世界的场景在现实中出现。预先防范AI可能对人类的危害是一个刻不容缓问题。