PyTorch面试精华


1 PyTorch全局设置

    1.1  全局设置当前设备

    1.2  全局设置浮点精度

    1.3  设置控制台输出格式

2 向量与梯度之核心

    2.1  Tensor的组成与存储

    2.2  Tensor的grad属性

    2.3  Tensor内存布局的调整

    2.4  Tensor的叠加

    2.5  禁用梯度计算

    2.6  向量的保存和加载

    2.7  梯度消失与梯度爆炸

3 神经网络基础

    3.1  线性网络的参数以及初始化

    3.2  PyTorch计算图

    3.3  查看网络权重参数

    3.4  保存模型

    3.5  Adam相关面试题

    3.6  ReLu与非线性的理解

    3.7  Train模式和Eval模式

    3.8  线性网络

    3.9  双线性网络

    3.10  惰性线性层

    3.11  参数向量

    3.12  叶子节点

    3.13  自动求导与链式求导

    3.14  Dropout机制

    3.15  detach原理

    3.16  半精度训练

    3.17  Xavier初始化

    3.18  通道的深刻理解

    3.19  1x1卷积的作用

    3.20  注意力机制

    3.21  requires_grad属性

    3.22  向量的device

    3.23  tensor与numpy互换

    3.24  DataParallel用法详解

    3.25  to(device)和.cuda()的区别

    3.26  Dataset数据处理

    3.27  StepLR学习率调度器

    3.28  词嵌入的理解

    3.29  特征提取和可视化

    3.30  TensorDataset的使用

requires_grad属性

创建时间:2024-09-15 | 更新时间:2024-09-15 | 阅读次数:1013 次

在PyTorch中,tensor有一个 requires_grad属性,它的默认值在不同的情况下有不同的取值。这是非常需要大家注意的地方,明白其背后的原因,你将会对PyTorch

1、程序员自己创建的tensor

默认情况下,pytorch会觉得你定义的训练数据,不需要梯度更新,所以此时requires_grad属性的值是false。如下所示:

import torch

x = torch.tensor([1.0])

print(x.requires_grad)

当然,我们可以手动修改:

autograd_tensor = torch.tensor([1.0], requires_grad=True)

2、利用工厂函数生成的tensor

Pytorch官方有这么一段说明:

one can now create tensors with requires_grad=True using factory methods such as torch.randn(), torch.zeros(), torch.ones(), and others like the following:

其暗含的意思是说明,使用工厂函数创建tensor的时候,pytorch觉得你是创建网络的训练权重,所以此时requires_grad的默认值是true。

本教程共40节,当前为第31节!