optimizer.zero_grad() ,用于将模型的参数梯度初始化为0。
#反向计算 loss.backward()#反向传播计算梯度 optimizer.step()#更新参数,梯度被反向计算之后,调用函数进行所有参数更新 #在反向传播计算时,梯度的计算是累加,但是每个batch处理时不需要和其它batch混合起来累加计算,所以对每个batch调用zero_grad将参数梯度置0 #如果不是每个batch清理依次梯度,而是两次或者多次清理,相当于提高了batch批次大小 optimizer.zero_grad()#将模型参数梯度置为0;
因篇幅问题不能全部显示,请点此查看更多更全内容
Copyright © 2019- yrrf.cn 版权所有 赣ICP备2024042794号-2
违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com
本站由北京市万商天勤律师事务所王兴未律师提供法律服务