2018-08-11
tensorflow keras
torch pyTorch
caffe caffe2
今日计划
- 学习CS231n 8-9课
- 完成吴恩达DeepLearning 5-2
- 完成吴恩达DeepLearning code4
知识点
1. CPU与GPU
gpu cores多,并行计算,适于矩阵计算
GPU并行计算
numpy 只可运行cpu,所有array数据存在ram中,与cpu有关
用gpu计算时,array数据需要从cpu运到gpu(gpu有显存、存储空间),算完再返回。IO可能是瓶颈
2. tensorflow gpu技巧
如果用gpu,这样tf的变量就存储在gpu显存中,大大减少IO时间
等式坐标代表操作的名称,调用名称、执行操作
调用tf.group,节点打包,计算时会返回None,但会计算其依赖的节点(小技巧,当我们只想计算存在gpu的变量而不想读取(因为cpu与gpu的IO瓶颈)时可以用tf.group打包)
Optimizer一键优化
损失函数api
自动建立层
各类tensorflow高阶API
3. base64
Base64就是一种基于64个可打印字符来表示二进制数据的方法。
每3个字节->4个字符
用记事本打开exe、jpg、pdf这些文件时,我们都会看到一大堆乱码,因为二进制文件包含很多无法显示和打印的字符
Base64一般用于在HTTP协议下传输二进制数据,由于HTTP协议是文本协议,所以在HTTP协议下传输二进制数据需要将二进制数据转换为字符数据。
Base64用\x00字节在末尾补足后,再在编码的末尾加上1个或2个=号,表示补了多少字节,解码的时候,会自动去掉。
4. map
5. Keras
提前训练好的模型
6. pytorch
更多详情
7. 静态图 动态图
tensorflow静态图 pytorch动态图
静态图 创建完图后系统自动优化;可以保存并导出图数据
tensorflow实现动态变化图
动态图 结构更多样(根据情况图可自动变化) 容易loops操作
tensorflow
经典神经网络
1x1卷积 降低channel减少计算成本 bottleneck
中间插入输出层,便于训练时更快降低梯度
残差网络
学习残差
网友评论