第7次课-词向量-2 - Guoziren`s World

$h = {W^{T}x} = v^{T}_{w_{I}}$

实际上就是将 $W$ 的第 $k$ 行拷贝到 $h$ 。 $v_{w_{I}}$ 是输入单词 $w_{I}$ 的向量表示。这里也意味着隐藏层的激活函数就是线性的，直接将输入的加权和传入到下一层。

从隐藏层到输出层，有另一个权重矩阵 $W'=\{w_{ij}^{'}\}$ ，其是一个 $N*V$ 的矩阵。使用这些权重，我们可以对词汇中的每一个单词计算出一个分数

$u_{j} = {v^{'}_{w_j}}^{T}h$

其中 $v_{w_{j}}^{'}$ 是 $W^{'}$ 的第 $j$ 列。

词向量部分全部总结在第5次课了

自然语言处理

ustc 自然语言处理

本博客所有文章除特别声明外，均采用 CC BY-SA 4.0 协议，转载请注明出处！