PyTorch面试精华

---

1 PyTorch全局设置

    1.1  全局设置当前设备

---

    1.2  全局设置浮点精度

---

    1.3  设置控制台输出格式

---

2 向量与梯度之核心

    2.1  Tensor的组成与存储

---

    2.2  Tensor的grad属性

---

    2.3  Tensor内存布局的调整

---

    2.4  Tensor的叠加

---

    2.5  禁用梯度计算

---

    2.6  向量的保存和加载

---

    2.7  梯度消失与梯度爆炸

---

3 神经网络基础

    3.1  线性网络的参数以及初始化

---

    3.2  PyTorch计算图

---

    3.3  查看网络权重参数

---

    3.4  保存模型

---

    3.5  Adam相关面试题

---

    3.6  ReLu与非线性的理解

---

    3.7  Train模式和Eval模式

---

    3.8  线性网络

---

    3.9  双线性网络

---

    3.10  惰性线性层

---

    3.11  参数向量

---

    3.12  叶子节点

---

    3.13  自动求导与链式求导

---

    3.14  Dropout机制

---

    3.15  detach原理

---

    3.16  半精度训练

---

    3.17  Xavier初始化

---

    3.18  通道的深刻理解

---

    3.19  1x1卷积的作用

---

    3.20  注意力机制

---

    3.21  requires_grad属性

---

    3.22  向量的device

---

    3.23  tensor与numpy互换

---

    3.24  DataParallel用法详解

---

    3.25  to(device)和.cuda()的区别

---

    3.26  Dataset数据处理

---

    3.27  StepLR学习率调度器

---

    3.28  词嵌入的理解

---

    3.29  特征提取和可视化

---

    3.30  TensorDataset的使用

---

import torch

x = torch.tensor([[1., -1.], [1., 1.]], requires_grad=True)

print("初始情况下，梯度值为：", x.grad)

out = x.pow(2).sum()

# 计算图需要保存，否则第二执行backward则会报错
out.backward(retain_graph=True)

print("第1次执行backward后的梯度值为：", x.grad)

out.backward()

print("第2次执行backward后的梯度值为：", x.grad)

None
tensor([[ 2., -2.],
        [ 2.,  2.]])
tensor([[ 4., -4.],
        [ 4.,  4.]])