名城建设有限公司网站关键词优化排名软件案例
参考：
https://www.ngui.cc/el/507608.html?action=onClick
这里面简单回顾一下PyTorch 里面的两个常用的梯度自动计算的API
autoGrad 和 Backward, 最后结合 softmax 简单介绍一下一下应用场景。
目录：
1 autoGrad
2 Backward
3 softmax
一 autoGrad
输入
x
输出
损失函数
参数更新
# -*- coding: utf-8 -*-
"""
Created on Mon Feb 13 21:28:26 2023@author: cxf
"""import torch
import torch.nn.functional as Fdef grad():x = torch.tensor([[1.0,2.0]]).view(2,1)w = torch.full([2,1], 1.0,requires_grad= True)target = torch.ones((1,1))out = torch.matmul(w.T, x)print(out)mse = F.mse_loss(out, target)print("\n mse",mse)grad_w = torch.autograd.grad(mse,[w]) print(grad_w)if __name__ == "__main__":grad()
二 Backward
求梯度另一种方法，可以通过backward
在创建动态图后，直接调用backward,更加方便
import torch
import torch.nn.functional as Fdef grad():x = torch.tensor([[1.0,2.0]]).view(2,1)w = torch.full([2,1], 1.0,requires_grad= True)target = torch.ones((1,1))out = torch.matmul(w.T, x)print(out)mse = F.mse_loss(out, target)print("\n mse",mse)mse.backward() print(w.grad)if __name__ == "__main__":grad()
三 softmax
多分类模型常用的激活函数
这种模型通常用交叉熵做损失函数
因为标签中只有一个为1，其它都为0,假设为
则：
(j=i)
（
）
则写成向量形式为
import torch
import torch.nn.functional as F
from torch import nn#自己实现该梯度计算
def calcGrad(a,target):grad =a -targetprint("\n 直接计算",grad)# 直接计算 tensor([[ 0.0900, -0.7553, 0.6652]], grad_fn=<SubBackward0>)#调用API 方式实现
def grad():CEL = nn.CrossEntropyLoss()z = torch.tensor([[1.0,2.0,3.0]],requires_grad=True)a = F.softmax(z,dim=1)print("\n 神经元输出",a)target = torch.tensor([[0.0,1.0,0.0]])loss =CEL(z,target)loss.backward()print("\n API 计算",z.grad)# API 计算 tensor([[ 0.0900, -0.7553, 0.6652]])calcGrad(a,target)if __name__ == "__main__":grad()这里面要注意nn.CrossEntropyLoss
是相当于对z 先做softmax,得到a， 然后再做交叉熵