PyTorch面试精华
dropout是指在深度学习网络的训练过程中,对于神经网络单元,按照一定的概率将其暂时从网络中丢弃。dropout是深度学习中防止过拟合提高效果的一个大杀器,最初由Hinton大佬提出来的。
在PyTorch中,Dropout机制的实现思路是面向训练数据,而非神经网络中的神经元。在训练过程中,以概率p随机清零输入张量的一些元素。具体的实现代码如下所示:
m = nn.Dropout(p=0.2) input = torch.randn(20, 16) output = m(input)