您好,欢迎来到意榕旅游网。
搜索
您的当前位置:首页pytorch中的zero_grad()函数的含义和使用

pytorch中的zero_grad()函数的含义和使用

来源:意榕旅游网

 optimizer.zero_grad() ,用于将模型的参数梯度初始化为0。

#反向计算
loss.backward()#反向传播计算梯度
optimizer.step()#更新参数,梯度被反向计算之后,调用函数进行所有参数更新
#在反向传播计算时,梯度的计算是累加,但是每个batch处理时不需要和其它batch混合起来累加计算,所以对每个batch调用zero_grad将参数梯度置0
#如果不是每个batch清理依次梯度,而是两次或者多次清理,相当于提高了batch批次大小
optimizer.zero_grad()#将模型参数梯度置为0;

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- yrrf.cn 版权所有 赣ICP备2024042794号-2

违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务