Caffe代码导读（2）：caffe结构分析

caffe目录结构

• docs —— 帮助文档
• examples —— 代码样例
• matlab —— MATLAB接口文件
• python —— PYTHON接口文件
• models —— 一些配置好的模型参数
• scripts —— 一些文档和数据会用到的脚本
• 核心代码：
  • tools —— 保存的源码是用于生成二进制处理程序的，caffe在训练时实际是直接调用这些二进制文件
  • include —— Caffe的实现代码的头文件
  • src —— 实现Caffe的源文
  • gtest —— google test一个用于测试的库. 你make runtest时看见的很多绿色RUN OK就是它，这个与caffe的学习无关，不过是个有用的库
  • caffe —— 关键代码:
    • test —— 用gtest测试caffe的代码
    • util —— 数据转换时用的一些代码。caffe速度快，很大程度得益于内存设计上的优化（blob数据结构采用proto）和对卷积的优化（部分与im2col相关）
    • proto —— 即所谓的“Protobuf”，全称“Google Protocol Buffer”，是一种数据存储格式，帮助caffe提速
    • layers —— 深度神经网络中的基本结构就是一层层互不相同的网络了，这个文件夹下的源文件以及目前位置“src/caffe”中包含所有.cpp文件就是caffe的核心目录下的核心代码了。
• caffe最核心的代码：
  • blob[.cpp .h] —— 基本的数据结构Blob类
  • common[.cpp .h] ——　定义Caffe类
  • internal_thread[.cpp .h]——　使用boost::thread线程库
  • net[.cpp .h] ——　网络结构类Net
  • solver[.cpp .h] ——　优化方法类Solver
  • data_transformer[.cpp .h] ——　输入数据的基本操作类DataTransformer
  • syncedmem[.cpp .h] ——　分配内存和释放内存类CaffeMallocHost，用于同步GPU，CPU数据
  • layer[.cpp .h] ——　层类Layer
  • layers　——　 此文件夹下面的代码全部至少继承了类Layer, 从layer_factory中注册继承

caffe的三级机构（Blobs,Layers,Nets）

• Blobs,Layers,Nets关系概述：Caff的net比作一栋大楼，Layer是构成大楼的墙，Blob是构成墙的砖块

• 功能概括：

  • Blob:用于数据的保存、交换和操作，Caffe基础存储结构
  • Layer:用于模型和计算的基础
  • Net：整合连接layers

• 具体介绍：

  • Blob：是caffe中处理和传递实际数据的数据封装包。是按C风格连续储存的N维数组。

    • 常规的维度为图像数量N通道数C图像高度H*图像宽度W。

    • 主要变量：

      • shared_ptr data_;
      • shared_ptr diff_;
      • shared_ptr shape_data_;
      • vector shape_;
      • int count_;
      • int capacity_;

    • 解释：

      • shared_ptr——是一个数据boost库中的智能指针，主要用来申请内存
      • data_主要是正向传播时候用的，diff_主要是用来储存偏差（主要是反向传播的时候会用到），
      • shape_data和shape_——都是存储Blob的形状
      • count——表示Blob存储的元素个数，也就是个数*通道数*高度*宽度
      • capacity_——表示当前Blob的元素个数（控制动态分配）

    • 主要函数：

      • 构造函数：构造函数开辟一个内存空间来存储数据
      • reshape函数：Reshape函数在Layer中的reshape或者forward操作中来adjust dimension
      • count函数：重载很多个count()函数，主要还是为了统计Blob的容量（volume），或者是某一片（slice），从某个axis到具体某个axis的shape乘积（如 “ inline int count(int start_axis, int end_axis)”）。
      • data_数据操作函数 & 反向传播导数diff_操作函数：这一部分函数主要通过给定的位置访问数据，根据位置计算与数据起始的偏差offset，在通过cpu_data*指针获得地址
      • FromProto/ToProto数据序列化：将数据序列化，存储到BlobProto，这里说到Proto是谷歌的一个数据序列化的存储格式，可以实现语言、平台无关、可扩展的序列化结构数据格式。
      • Update函数：该函数用于参数blob的更新（weight，bias 等减去对应的导数）
      • 其他运算函数：
        • Dtype asum_data() const;//计算data的L1范数(所有元素绝对值之和)
        • Dtype asum_diff() const;//计算diff的L1范数
        • Dtype sumsq_data() const;//计算data的L2范数(所有元素平方和)
        • Dtype sumsq_diff() const;//计算diff的L2范数
        • void scale_data(Dtype scale_factor);//将data部分乘以一个因子
        • void scale_diff(Dtype scale_factor);//将diff部分乘一个因子
  • layer：

    • 简介：
      所有的Pooling（池化），Convolve（卷积），apply nonlinearities等操作都在这里实现。在Layer中input data用bottom,表示output data用top表示。每一层定义了三种操作setup（Layer初始化）, forward（正向传导，根据input计算output）, backward（反向传导计算，根据output计算input的梯度）。forward和backward有GPU和CPU两个版本的实现。

    • caffe中已经衍生了很多不同功能作用的layer, 其中常用的五种layer:

      • data_layer（数据层）

        • data_layer主要包含与数据有关的文件。在官方文档中指出data是caffe数据的入口是网络的最低层，并且支持多种格式，在这之中又有5种LayerType：

          • DATA 用于LevelDB或LMDB数据格式的输入的类型，输入参数有source, batch_size, (rand_skip), (backend)。后两个是可选。
          • EMORY_DATA 这种类型可以直接从内存读取数据使用时需要调用MemoryDataLayer::Reset，输入参数有batch_size, channels, height, width。
          • DF5_DATA HDF5数据格式输入的类型，输入参数有source, batch_size。
          • HDF5_OUTPUT HDF5数据格式输出的类型，输入参数有file_name。
          • IMAGE_DATA 图像格式数据输入的类型，输入参数有source, batch_size, (rand_skip), (shuffle), (new_height), (new_width)。

        • 其实还有两种WINDOW_DATA, DUMMY_DATA用于测试和预留的接口,不重要。

      • neuron_layer（数据的操作层）
        neuron_layer实现里大量激活函数，主要是元素级别的操作，具有相同的bottom,top size。
      • loss_layer（损失层/计算网络误差层）

      可以看见调用了neuron_layers.hpp，估计是需要调用里面的函数计算Loss，一般来说Loss放在最后一层。caffe实现了大量loss function，它们的父类都是LossLayer。

      • common_layer

        • 这一层主要进行的是vision_layer的连接
        • 声明了9个类型的common_layer，部分有GPU实现：
          • InnerProductLayer 常常用来作为全连接层
          • SplitLayer 用于一输入对多输出的场合（对blob）
          • FlattenLayer 将n * c * h * w变成向量的格式n * ( c * h * w ) * 1 * 1
          • ConcatLayer 用于多输入一输出的场合
          • SilenceLayer 用于一输入对多输出的场合（对layer）
          • (Elementwise Operations) 这里面是我们常说的激活函数层Activation Layers。
            • EltwiseLayer
            • SoftmaxLayer
            • ArgMaxLayer
            • MVNLayer

      • vision_layer

        • 主要是实现Convolution和Pooling操作, 主要有以下几个类：
          • ConvolutionLayer 最常用的卷积操作
          • Im2colLayer 与MATLAB里面的im2col类似，即image-to-column transformation，转换后方便卷积计算
          • LRNLayer 全称local response normalization layer，在Hinton论文中有详细介绍ImageNet.
            Classification with Deep Convolutional Neural Networks 。
          • PoolingLayer Pooling操作
  • Net

  Net由一系列的Layer组成(无回路有向图DAG)，Layer之间的连接由一个文本文件描述。模型初始化Net::Init()会产生blob和layer并调用Layer::SetUp。在此过程中Net会报告初始化进程。这里的初始化与设备无关，在初始化之后通过Caffe::set_mode()设置Caffe::mode()来选择运行平台CPU或GPU，结果是相同的。

  • Protocol Buffer

    • Protocol Buffer(PB)是一种轻便、高效的结构化数据存储格式，可以用于结构化数据串行化，很适合做数据存储或 RPC 数据交换格式。它可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。是一种效率和兼容性都很优秀的二进制数据传输格式，目前提供了 C++、Java、Python 三种语言的 API。Caffe采用的是C++和Python的API。