美文网首页
Hopfield神经网络

Hopfield神经网络

作者: 每天学习135个小时 | 来源:发表于2020-08-12 18:36 被阅读0次

Hopfield网络

基本概念与功能

Hopfield Network:单层全连接循环神经网络。(single layer & fully connected RNN)

associative memory,记忆且复原pattern.

每个神经元(neuron)只有两种状态1-1,即
\mathrm{neuron}_i\in \{1,-1\}
神经元m,n之间的连接强度 w_{m,n}=w_{n,m}, 且 w_{n,n}=0.
neuron_i=\begin{cases}1, &\sum\limits_j w_{ij}n_j+bias_i\leq0\\-1, &\text{otherwise}\end{cases}

  • w_{n,m}>0 称为激活的(excitatory)

  • w_{n,m}>0 称为抑制的(inhibitory)

  • synchronous update 一次性计算且更新所有neuron值

  • asynchronous update 一次性计算且更新一个neuron值

能量函数

(Lyapunov function / Energy function)
E=-\frac12\sum\limits_i\sum\limits_j w_{ij}n_in_j - \sum\limits_i bias_in_i
在asynchronous情况下,E的值逐渐减少,直到稳定。网络总是收敛的,且收敛于E的局部极小值。

该优化问题中的目标函数是能量函数E. 算法的目标是求出 w_{m,n}.


参考资料

神经网络(ANN) 超简指南 霍普菲尔德网络 Hopfield Network https://www.bilibili.com/video/BV1K54y1q7rj

相关文章

网友评论

      本文标题:Hopfield神经网络

      本文链接:https://www.haomeiwen.com/subject/mvpmdktx.html