i2DTO 对象存储管理软件
- 支持S3、OSS等多种对象存储
- 支持异构环境和文档管理功能
- 共享存储和直连式存储的部署架构
- 支持秒级的定时同步策略
英方软件i2DTO 能够实现本地存储/NAS存储与对象存储之间的数据同步/恢复,以及异构对象存储间的数据同步。帮助用户将海量非结构化数据集中备份到对象存储,进而提高非结构化数据的检索与访问性能。既降低了运营的成本,又提高了数据的安全性。当本地存储的文件数量达到上亿级别时,用户可以通过 i2DTO 将符合归档条件的文件归档至对象存储,释放本地存储资源,所有归档记录可以通过管理界面快速查询和恢复。
i2DTO主要解决的是不同存储类型之间的数据迁移、同步问题。它能够高效地将数据从本地/NAS存储同步至对象存储,或从对象存储同步至本地/NAS存储,同时支持对象存储之间的数据同步。这解决了企业在异构对象存储间海量数据同步的过程中面临的兼容性、高效性、安全性等问题。
i2DTO的产品架构包括:控制机(webconsole统一数据管理平台服务);部署i2DTO程序的DTO主机(可以是工作机或独立机器)。控制机提供图形化统一数据管理平台web服务,实现用户对节点资源、规则任务的管理和使用。DTO主机负责将源端数据同步至目标端存储。i2DTO程序则负责扫描比对源、备端数据,捕获新增/差异数据并同步至目标存储中。
兼容众多接口的对象存储资源。独立于硬件的代理程序,部署方便。一次全量+多次增量数据同步。规则进入传输阶段后,支持断点续传。比对功能,方便比较源、备文件差异。可对接Elastic Search,实现海量数据备份与记录查看。支持本地到对象存储的文件归档及归档文件回源,方便管理。
支持多线程并发传输,可配置的带宽限制策略,支持多台同步主机并发传输。
i2DTO采用统一WEB管理方式,支持主机资源、任务状态、网络带宽等多维度监控。
将生产环境的本地存储通过网络挂载至安装有i2DTO代理程序的独立机器上,通过同步主机进行本地数据的上云操作。不同的存储盘或目录可以挂载至不同主机进行传输。
将对象存储中数据下云时,也是通过安装有i2DTO代理程序的同步主机,进行对象存储数据传输至本地存储。
在对象存储间的数据传输,不同的存储桶或者桶中目录可使用多个同步主机传输,减少文件传输压力,提升传输效率。在对象存储之间数据同步时,数据通过引流方式传输至目标对象存储,在整个传输过程数据不落地(不落盘到同步主机的本地存储中)。
中国建设银行通过i2DTO实现北京的腾讯云COS对象存储数据的定时、自动备份至上海的COS对象存储上,确保COS对象存储数据的安全性与可恢复性,以应对可能发生的各类灾难性事件。
关于对象存储同步,你需要了解的10个问题
对于企业而言,对象存储正在成为承载海量非结构化数据的重要基础设施。但随着数据规模持续增长,对象存储的价值已经不只是“存储数据”,如何让数据在不同环境之间高效流动、长期保存并按需使用,正在成为企业数据管理的新课题。
从本地存储迁移到对象存储,到不同对象存储平台之间的数据同步,再到历史数据归档,企业在建设过程中往往会遇到一系列实际问题。
本文围绕对象存储同步与归档场景,通过10个常见问题,解析英方i2DTO如何帮助企业实现海量非结构化数据的高效管理。
随着企业非结构化数据快速增长,对象存储已经成为承载图片、视频、日志、文档等数据的重要基础设施。
但在实际应用过程中,企业仍然面临大量数据管理问题:
i2DTO主要面向对象存储同步、迁移以及归档场景,实现本地存储/NAS与对象存储之间,以及不同对象存储之间的数据同步。
通过数据扫描、智能比对、增量同步、多通道传输等能力,帮助企业更加高效地管理海量非结构化数据。
企业在实际建设过程中,往往存在多种对象存储平台并存的情况。
i2DTO支持主流对象存储接口协议,包括:AWS S3、阿里云OSS、腾讯云COS、华为云OBS、百度云BOS、天翼云OOS、Microsoft Azure Blob、Ceph(S3、Swift),同时兼容多种S3协议对象存储平台。
通过对不同对象存储环境的兼容,i2DTO可以满足:本地存储向对象存储迁移、公有云之间数据迁移、公有云向私有对象存储迁移、异构对象存储之间数据同步等多种应用需求。
在海量数据同步过程中,数据一致性是企业最关注的问题之一。
i2DTO通过对源端和目标端数据进行扫描和比对,识别新增文件以及发生变化的数据,并仅同步需要更新的数据。
同时支持:文件大小比对、MD5校验、对象智能比对等多种校验方式,对同步结果进行一致性验证。
通过多层数据校验机制,降低大规模数据迁移过程中的一致性风险,保障迁移前后数据准确可靠。
针对不同企业存储环境,i2DTO支持灵活部署方式。
目前支持:
同时,i2DTO采用“控制机+DTO同步主机”的架构:控制机负责任务管理、策略配置、状态监控;DTO同步主机负责数据扫描、比对和传输。
企业可以根据数据规模灵活增加同步主机数量,实现横向扩展。
企业不同业务场景对于数据同步频率要求不同。针对一次性数据迁移场景,i2DTO支持大规模批量数据同步。针对持续变化的数据环境,i2DTO支持:
通过持续识别源端新增和变化数据,仅同步变化内容,减少重复传输。企业可以根据业务需求,在数据迁移、备份保护、持续同步等不同场景中选择合适的数据同步策略。
对象存储场景最大的挑战之一,就是海量小文件管理。当文件数量达到千万甚至亿级时,传统复制方式容易出现:数据扫描耗时长、重复传输严重、迁移窗口不可控。
i2DTO通过:数据扫描优化、智能比对、增量同步、多同步主机并行传输等机制,提高海量文件场景下的数据处理能力。
在实际应用中,可通过任务拆分,将不同Bucket或路径拆分为多个同步任务,实现并行迁移。
支持。
对于企业长期积累的历史数据,其中大量数据访问频率较低,但仍具有长期保存价值。
i2DTO支持将符合归档条件的数据从本地存储迁移至对象存储。
通过:生产存储保存高频业务数据;对象存储保存历史归档数据;实现数据生命周期管理。
当业务需要访问历史数据时,可根据归档记录进行数据恢复,实现数据回源。
在大规模数据传输过程中,网络波动或任务中断是常见问题。
i2DTO支持文件级任务恢复机制。
当同步任务发生异常时,系统无需重新执行全部任务,而是针对未完成或失败的数据继续传输。
同时支持:并发传输、压缩传输、加密传输、带宽控制。
帮助企业在复杂网络环境下保持稳定的数据同步能力。
i2DTO适用于大量非结构化数据管理场景。
典型应用包括:
传统文件复制工具通常面向简单的数据搬迁,而企业级对象存储管理需要面对更复杂的数据环境。
i2DTO围绕企业级数据流动需求,具备:多对象存储兼容能力、海量小文件处理能力、增量同步能力、数据一致性校验能力、多节点并行传输能力、数据归档与恢复能力等。
不仅解决“数据搬过去”的问题,更帮助企业建立面向未来的数据管理能力。
公告
邮件
销售