两小时搞定PB级HDFS数据迁移，挪走日均近5亿RPC

文章预览

导读 Hadoop分布式文件系统（HDFS）是指被设计成适合运行在通用硬件上的分布式文件系统（Distributed File System）。 本文将介绍eBay ADI Hadoop team如何克服万难，在短短两小时内 将近 1000万 级别文件数量与 10PB 规模大小的数据全部迁移至新的namespace，从而达到RPC流量迁移的效果，保证了HDFS集群的稳定性。 一、背景 本文所介绍的这场PB规模量级的数据迁移其实由来已久，当时我司内部因为新业务上的支持，导致HDFS集群数据量一度激增。通过每日的RPC（Remote Procedure Call，远程过程调用）总 量统计结果，整个集群的RPC处理量比之前翻了2~3倍之多； 随之而来，我们的HDFS集群承受了前所未有的RPC压力，以至于经常处于异常忙碌的状态，而关键SLA任务也会因为HDFS过慢而时 不时地发 ………………………………