吴恩达深度学习-序列模型 2.10 词嵌入除偏

由于深度网络逐渐在日常生活当中起到非常重要的作用，它往往会被用来做一些很重要的决策，因此需要它具有公正性，不能有种族歧视或者性别歧视等等。

比如，有人在论文当中做了一个实验，找出man：computer programmer对应的woman是homemaker，这就是一种很不友好的性别歧视。

还有另外一个类比是father：doctor，mother对应的是nurse。

这些例子都是带有比较强烈的性别职业偏见，因此我们要对它们进行除偏。

那么今天我们要介绍的就是一个在完成了词嵌入矩阵训练之后，对这个矩阵进行除偏的算法。

有以下几个步骤：

1.找到我们要消除的偏见的趋势，比如说性别歧视或者是种族歧视。
2.我们使用(e_he-e_she、e_male-e_female...)/n来找出多维矩阵当中对于gender有偏见的这一个维度。
3.将其他不相关的维度置位另外一个2D维度。
4.中和步，将doctor\babysister这种跟性别没有关系的词，通过算法移到中间这个non-bias的轴上。
5.均衡步，将he\she niece\nephew这种带有性别联系的词，通过另外一个算法，均等地移到non-bias轴的两侧，这两个点相对于中间的轴是等距的，这样就减小了他们的天生偏见趋势。

在均衡步当中使用到的词其实是非常少的，可以通过一些算法或者是条件将他们取出再进行均衡。

如果要将人工智能运用到社会当中，我们就不可避免地要确定他们的公正性，除偏是其中很重要的一步。