实验了一下AutoInt模型，其实在看到论文之前就有类似的想法，但是效果不好（auc很低，大概只有0.6），没有继续尝试。在看到论文后，发现和之前的想法一致，于是又重新实现了一遍，但是效果还是很差。
这次打算仔细研究一下，就调整了一下初始化函数，之前的初始化是用的标准的正态初始化，现在换成了glorot_normal_initializer，结果一下变好了。
这里推测是因为使用普通的dnn模型时，最后一层的单元数一般都比较少，而使用attention时，由于最后一层的向量维度是特征数*特征维度，一般都会很高，如果只是用普通的正则，那么加和出来的logits就会很大，很难进行优化。如果使用glorot_normal，会根据前一层的特征数决定权重初始化的范围，会使logits落在更合理的范围，更容易优化。
实验了一下AutoInt模型，其实在看到论文之前就有类似的想法，但是效果不好（auc很低，大概只有0.6），没有继...
系统初始化函数： GPIO初始化函数： 初始化EV函数： 主函数： Debug:"DSP28_Gpio.c", l...
初始化函数 console log 如下 类的指定初始化函数和便利初始化函数 console log 如下 注意:...
对象初始化可以分为默认初始化、直接初始化、拷贝初始化以及值初始化。C++的类默认提供了六种函数：构造函数、析构函数...
2019-08-15
指定初始化函数注意点： 1. Designated Initializer表示指定初始化函数(唯一的初始化出口)。...
构造函数的初始化和其他函数一样，有自己的形参、名字和逻辑，但不同的是构造函数可以有初始化列表。 省略构造函数初始化...
[C++之旅] 11 初始化列表 初始化列表的特性 初始化列表先于构造函数执行 初始化列表只能用于构造函数 初始化...
反初始化在一个类的实例被释放之前，反初始化函数被立即调用。用关键字deinit来标示反初始化函数，类似于初始化函数...
构造函数（初始化） 构造函数：构造函数与类名相同，构造函数又叫初始化函数，当类被创建的时候，会自动调用。Dart相...
本文标题：2019-08-15 初始化函数的重要性
本文链接：https://www.haomeiwen.com/subject/adpzjctx.html
网友评论