美文网首页
机器学习笔记8-GNN与GCN原理

机器学习笔记8-GNN与GCN原理

作者: 江湾青年 | 来源:发表于2024-03-04 00:46 被阅读0次

GNN

  • 输入:邻接矩阵A➕点的特征X
  • 优势:传统输入的格式是固定的,GNN可以接受更加复杂的数据结构
  • 任务:
    1. graph级别的任务:对整个图进行分类或预测
    2. Node或edge级别的任务:对点或边进行预测
  • GNN也可以做多层:图的结构始终不变,输入和输出是更新前后点的特征

GCN

  • Semi-supervised learning:不一定所有的点都有标签,计算损失时只用有标签的

  • 点的特征更新方法:邻接矩阵A✖️特征矩阵X


    聚合周围点的特征
  • 问题1:邻接矩阵中自己和自己的邻接值为0,没考虑自己,所以给邻接矩阵A加上对角阵I,称为新邻接矩阵A~


    构建新邻接矩阵A~
  • 问题2:这样聚合特征会受邻居个数的影响(邻居越多数越大),因此再左乘一个度矩阵(D~)的倒数(D~-1),相当于上一步的加和值求平均

度矩阵的倒数D~-1 左乘度矩阵的倒数D~-1
  • 问题3:左乘D~-1相当于对行归一化,还要对列归一化,因此再右乘D~-1
对列归一化
  • 问题4:这样对导致每个数被做了两遍归一化,因此改成-1/2次幂


    GCN的最终公式

所以,最终GCN的节点特征更新公式就是:

截最终GCN的节点特征更新公式

其中:

  • A波浪=A+I,I是单位矩阵
  • D波浪是A波浪的度矩阵(degree matrix)
  • H是每一层的特征,对于输入层的话,H0=X
  • W是可学习的参数
  • σ是非线性激活函数

参考

https://b23.tv/fmGbw4w
唐宇迪老师牛逼!

相关文章

  • 反馈神经网络

    1、Reference 多层感知机MLP(机器学习5)多层感知机原理详解 & Python与R实现深度学习笔记——...

  • 08-KNN

    一.机器学习原理 原理机器学习原理.png 常见名词 训练数据类 二.机器学习分类 2.1 有监督学习 分类 K近...

  • python之k-近邻算法(非sklearn版)

    为了能够熟悉不能机器学习算法的原理,所以在此将学习《机器学习实战》这本书的笔记给记录下来,因为此书使用python...

  • 3.1.1.8 集成学习

    集成学习 原理 《机器学习》周志华 8.1 个体与集成 集成学习(ensemble learning) 通过构建并...

  • 机器学习笔记-文本分类(一)概述

    最近在看机器学习的书籍和视频,主要有:统计学习方法 李航西瓜书 周志华python机器学习实战机器学习算法原理与...

  • 机器学习的发展史

    关于机器学习的详细内容:机器学习入门:概念原理及常用算法 (本课程主要讲解机器学习的概念、原理和应用场景,以及机器...

  • 图神经网络:GCN原理学习笔记

    摘要:图神经网络,GCN 图数据的特征性质 图像数据是一种特殊的图数据,图像数据是标准的2D网格结构图数据。图像数...

  • 5.machine_learning_LR_Softmax

    机器学习逻辑回归与softmax 补充阅读资料: 吴恩达老师机器学习课程笔记[https://github.com...

  • 人工智能-机器学习总结

    数山有路,学海无涯:机器学习概论 机器学习的基本原理与基础概念,其要点如下: 机器学习是计算机基于数据构建概率统计...

  • xgboost总结

    【参考资料】: 机器学习|XGBoost模型原理详解与实战[https://codewithzichao.gith...

网友评论

      本文标题:机器学习笔记8-GNN与GCN原理

      本文链接:https://www.haomeiwen.com/subject/loulzdtx.html