D2L--第八章循环神经网络
1. 序列模型 1.1 自回归模型 (1)自回归模型:对于一个包含T个’时间’节点的输入序列,若预测其中的第t个数据,则依赖于该节...
1. 序列模型 1.1 自回归模型 (1)自回归模型:对于一个包含T个’时间’节点的输入序列,若预测其中的第t个数据,则依赖于该节...
1. 门控循环单元(GRU) 传统的RNN在处理长序列时会遇到梯度消失或梯度爆炸的问题。为了解决这些问题,引入了门控机制的变种,如长短时记忆网络(...
1. 注意力提示 1.1 生物学的注意力提示 如下的观察实验: 受试者的注意力往往首先被颜色鲜艳的红色咖啡杯吸引(非自主性); 客观存在的,对于观察者的吸引特...
1. 基础介绍 BERT(来自Transformers的双向编码器表示)基于Transformer编码器进行预训练(Pre-train),从而对输...
在深度学习中,优化算法是训练模型的关键部分,它们用于更新网络的参数以最小化损失函数。 由于优化算法的目标函数通常是基于训练数据集的损失函数,因...
2014年论文:https://proceedings.neurips.cc/paper_files/paper/2014/file/5ca...
homogeneous graph : 一种节点,一种边 heterogeneous graph: 多种节点,多种边 bipartite graph : 两种节点,一种边 1、DGLgraph结构 1.1 同构图 Cora论文关系图–同构图(ho...
1 2 3 4 5 6 7 8 import dgl import dgl.nn as dglnn import torch import torch.nn as nn import torch.nn.functional as F import numpy as np 0、预测任务与数据 预测论文属于哪一种类别,即为多分类问题 1 2 3 4 5 6 7 8 9 10 11 12 13 14...
(1)边回归问题,对图中已存在的边的定量(回归)/定性(分类),结合训练得到的边的embedding做GNN神经网络预测。 (2)边的embe...
边的预测问题即预测两个节点间是否可能存在边,可以视为二分类问题。 在训练时,首先同样要先更新节点信息,然后计算边的特征— 将图中已知...