基于多机多卡的神经网络负载均衡优化方法和系统[发明专利]

来源：意榕旅游网

专利内容由知识产权出版社提供

专利名称：基于多机多卡的神经网络负载均衡优化方法和系统专利类型：发明专利发明人：吴俊敏,郑焕鑫,尹燕申请号：CN2016109521.9申请日：20160810公开号：CN106293942A公开日：20170104

摘要：本发明公开了一种基于多机多卡的神经网络负载均衡优化方法，包括多个节点，所述节点包括至少一个GPU，每个GPU负责一个模型副本的训练，包括以下步骤：在参数服务器上启动一个计数器，然后通知所有节点开始迭代，单位时间后参数服务器获取每个节点累计的迭代次数fetch、残差和计算参数服务器的本次迭代参数计算参数服务器更新下一次迭代的参数w，将w分发到所有GPU上，每个模型副本使用w作为模型最新参数进行下一次迭代。可以根据GPU设备的计算能力合理分配不同规模的计算任务，取得了很好的负载均衡效果。

申请人：中国科学技术大学苏州研究院,苏州展科光电科技有限公司

地址：215123 江苏省苏州市工业园区独墅湖高教区仁爱路188号

国籍：CN

代理机构：苏州创元专利商标事务所有限公司

更多信息请下载全文后查看

因篇幅问题不能全部显示，请点此查看更多更全内容

查看全文