一种基于hadoop集群的数据迁移方法和工具

（12）发明专利申请

（21）申请号 CN201510312034.9 （22）申请日 2015.06.09

（71）申请人 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 层

（72）发明人 刘传奇;李文学

（74）专利代理机构 中原信达知识产权代理有限责任公司

代理人 姜劲

地址 100080 北京市海淀区杏石口路65号西杉创意园四区11C楼东段1-4层西段1-4

（10）申请公布号 CN106294496A

（43）申请公布日 2017.01.04

（51）Int.CI

G06F17/30;

权利要求说明书 说明书 幅图

（54）发明名称

一种基于hadoop集群的数据迁移方法和工具

（57）摘要

本发明提供一种基于hadoop集群的数据

迁移方法，包括：各集群根据主服务器发送的需要同步的数据目录列表分别计算各自当前的数据目录信息并返回结果给主服务器；主服务器对所述结果进行差异比对得到差异目录列表；主服务器按照执行同步任务的客户端的数量拆分差异目录列表；各执行同步任务的客户端接到主服务器

发起的执行同步任务通知后，请求web

service，获取拆分后的差异目录列表，执行同步任务。根据本发明的技术方案，基于hadoop自身提供的同步命令，在其基础上进行开发封装，包括数据差异比对，多线程并发同步，同步结果校验，同步进度跟踪，过程监控。

法律状态

法律状态公告日

2017-01-04 2017-01-04 2017-01-04 2017-12-15 2017-12-15 2020-02-07

法律状态信息

公开 公开 公开

实质审查的生效 实质审查的生效 授权

法律状态

公开 公开 公开

实质审查的生效 实质审查的生效 授权

权利要求说明书

一种基于hadoop集群的数据迁移方法和工具的权利要求说明书内容是....请下载后查看

说明书

一种基于hadoop集群的数据迁移方法和工具的说明书内容是....请下载后查看