主要问题

作者提出了一种叫做Highway networks的架构，用来解决基于梯度的学习模型在拥有较多层数时，难以训练的问题。

模型描述

对于一个朴素的包含 $L$ 层的前馈神经网络，第 $l$ 层 $(l \in \{1, 2,...,L\})$ 对输入 $x_l$ 进行非线性转化 $H$ (参数为 $W_{H, l}$ )，得到输入 $y_l$ 。简化下标和偏移量之后，形式如下：
$y = H(x, W_H)$
对于Highway networks，额外增加两个非线性转化 $T(x, W_T)$ 和 $C(x, W_C)$ ，新形式如下：
$y = H(x, W_H) \cdot T(x, W_T) + x \cdot C(x, W_C)$
其中 $T$ 称作转换门， $C$ 称作携带门，它们决定了输出由非线性变化和原始输入组成的比例。

可以将假设 $C = 1 - T$ 来得到更加简单的形式：
$y = H(x, W_H) \cdot T(x, W_T) + x \cdot (1-T(x, W_T) )$

模型优点

增加了门结构的形式在计算过程中会比原本的形式更加灵活：
$y = \begin{cases} x, &if\ T(x, W_T) = 0, \\ H(x, W_H) &if\ T(x, W_T) = 1, \end{cases}$
可以发现 $T$ 会学习当前状态下是否应该使用原始输入，或者使用转换后的结果作为输出。

对于梯度也有类似的结果：
$\frac{ \partial y } {\partial x} = \begin{cases} I, & if \ T(x, W_T) = 0, \\ H^{'}(x, W_H) , & if \ T(x, W_T) = 1, \end{cases}$

注意事项

根据Highway networks的公式，要求 $x, y, H, T$ 的维度一致，如果需要修改形状，可以通过子采样或者填充零的方式，也可以增加一层神经网络（不包含Highway），进行维度转换。

未理解知识

段落2.1中改变向量维度的操作sub-sampling具体是指？关于权重矩阵的weight-sharing和local receptive fields意思是？
段落2.2关于门偏移量为负的说明是想说什么？
段落3.1中提到的variance-preserving初始化技巧是指？模型训练中提到的momentum概念的含义是？
表格1中提到的Fitnets以及maxout networks是指？
段落5中credit assignment是指？