02X3DS辅助FastDFS 平滑迁移至XEOS

时间：2022-03-24 04:03:01 | 来源：网络推广

时间：2022-03-24 04:03:01 来源：网络推广

X3DS(XSKY 3D data management System)是XSKY提供的立体数据管理系统。可提供非结构化数据的DR(Disaster Recovery，灾难恢复)，DP(Data Protection，数据保护)和DM(Data Migration，数据迁移)这三大管理能力，是一个立体的三维数据管理平台。

支持非结构化数据的复制、迁移、备份、归档功能，支持丰富的数据管理策略，满足不同用户的个性化要求。支持多存储后端协议(如：CIFS,NFS,FTP,S3,BOS,OSS，FastDFS等)，极大的兼容了市场上主流文件传输协议。

支持跨厂商的文件和对象存储之间数据相互移动，支持跨云的数据上云和下云，适应性广，避免用户被设备厂商和公有云厂商锁定。迁移任务支持断点续传，应对海量数据迁移过程中，如发生机房掉电等故障，故障恢复后，再次启动迁移任务可以实现断点续传，有效节省迁移时间。

1、整体迁移方案架构

2、方案特点

可配置迁移QoS;

支持主流协议迁移;

为保证数据可用，业务切换时需要短暂停机做最终数据一致检查;

支持file-from，指定文件迁移;

支持脚本工具导出FastDFS集群文件ID;

迁移任务支持断点续传。


3、具体部署方案

整体操作流程：

创建源端


创建目标端


创建迁移任务


数据迁移中


产品安装部署：

1.目标XEOS集群部署

网络需要与源端集群业务网络连通;

参照《星辰天合分布式存储系统软件安装手册》完成XEOS分布式对象存储安装，初始化配置，调试完毕，准备就绪。


2.信息收集，集群规划

收集原有FastDFS集群相关信息;

结合客户需求定制，规划新集群相关配置信息。


3.迁移流程规划

迁移项目实施需有详尽的方案规划，针对不同的业务应用或者租户，优化切割时间节点;

评估重点业务，为保证迁移的有效性和安全性，需要对验证迁移前后数据的一致性和完整性做整体规划;

确定迁移步骤，顺序，工具，实施人员等信息，给出具体的实施指导手册和计划，以及对应的回退方案。


4.目标端集群配置

目标端集群对应资源的创建(对象资源，永久Token等);

确定新集群和应用业务的对接。


5.Nginx安装

下载并配置FastDFS-Nginx-Module模块，完成在Storage所有节点上Nginx的安装;

Storage节点上对接配置Nginx，并设置开机自启动;

测试Nginx模块。


6.数据迁移

安装配置X3DS

X3DS产品支持融合部署在XEOS存储节点，不需要额外的资源消耗;

上传解压X3DS安装包，一键安装部署;

添加X3DS节点(支持单节点和多节点部署，多节点部署建议至少3个节点) ;

在目标端XSKY存储上创建永久Token;

参照手册创建源端的FastDFS和目标端的XEOS S3的Remote类型;

检查业务网络的连通性，待迁移数据需可以在X3DS业务节点访问。


数据迁移

部署用户提供的文件ID列表保存在X3DS业务节点上;

预测试，使用小部分数据先预测试，验证方案可行性;

配置迁移任务;

迁移完成后，检查一致性。


7.迁移完成，业务切换

迁移完成后，业务切换，验证数据一致性。