人工智能之父」高徒教你系统学习人工智能

[材料]「人工智能之父」高徒教你系统学习人工智能
[字数]684
[正文]

这是知乎live的笔记。

001，英语能力很重要：经典教材是英文；最新成果是英文；顶尖会议是英语；开源社区是英语；

002，数学和计算机交叉学科；

003，数学：线性代数。
理解非线性系统，做局部线性化；
机器学习会涉及大量矩阵运算，书：《the matrix cookbook》；

004，数学：概率论。
初等线性代数和入门的概率论。

005，计算机：
数据的清洗，抽取，数值计算的基本概念，
the art of computer programming

006，机器学习理论
linear regression/classification
clustering
dimensionality reduction
probalistic modeling
adaboost

restricted boltzmann machine
denoising NN

007,实用不需要太深的理论功底
intuition比理论推导重要，但是好的intuition来自扎实的理论功底

经典bible: pattern recognition and machine learning

008,就是想试着用用
分清问题：supervised(标签), unsupervised（降维）, semi-supervised,reinforcement learning
能不能当成supervised的问题解决
unsupervised问题到supervised问题，e.g.word embedding
有哪些经典/常用算法
wikipedia
现成的实现在哪里
github,etc
输入是啥？输出是啥？
准备好数据
跑起来再说

009，工程
动手很重要
DNN的理论框架基本确定
universal approximator+gradient优化
除非量子计算机量产，否则短期变化不大

tensorflow问世，从此不用再求导数

模型design需要大量实验验证
trick,trick,trick
工程能力决定迭代速度
google为何能折腾出alpha go

010，工程
alpha zero用法并不复杂
为什麽只有deep mind做出了这样的成果？google有超强的工程能力

011，google怎么做工程
对架构的重视和投入：数千人的架构团队，google本质上是系统公司
Do things properly的工程师文化，对比breaking things(facebook)
顶尖工程师数十年的专注和积累
对一致性的强调：其他公司都在整合open source,google坚持核心系统全部自主研发
极大降低新技术的推广成本
最新技术以最熟悉呈现
完整的文档，codelab
tensorflow,bazel,protobuf,grpc
好处远大于城镇

012,google作为大公司可以快速迭代，如果想学，读tensorflow源代码

013,peer review是流程

014,作者在英语流利说，负责内容推荐和personlization。

015，有些理论不懂，去找一些年代久远的论文，理论都是4，50年前。