Linux下,实际的增量并不大,但英方数据同步产生大量缓存数据的原因探究
发表于 2019-03-22
点击数 4880

故障症状

下图为使用英方6.0‑12790保护数据的实时流量图案例,业务文件由第三方Tomcat+Java软件生成。监控显示磁盘缓存达到1.02GB,但同一时间监控目录实际仅生成一个12Mb的文件,缓存数据和真实文件增量差异巨大。

实时流量监控截图,缓存远大于实际文件增量

问题描述

使用i2Coopy保护第三方软件写入的数据时,源端实际新增文件大小,和英方捕获统计的数据大小不一致,该现象该如何解释。

解决方案

一、解释说明

英方软件工作在内核态,捕获应用程序与操作系统之间全部I/O写入操作。面对频繁的小I/O,英方会将每一次I/O按照4KB数据包进行传输。

英方统计大小和源端实际文件增量差异大,通常和第三方应用写入逻辑直接相关;当程序大量产生细碎小I/O写入,就会出现传输统计量远大于磁盘文件真实增量的现象。

二、排查方法

在生产服务器执行下面一系列检查:

1、查看磁盘挂载情况

df -h

2、查看目前磁盘数据量

iostat -m

3、查看发生变更的文件,替换为业务实际路径

lsof | grep 复制路径

4、再次查看磁盘数据量,对比前后iostat输出,判断文件变化大小

iostat -m

I/O数据分析排查截图

5、查看文件准确的变化量,替换为实际规则uuid

repset -Q perdbg
debugctl work task 规则uuid

增量产生后只写缓存不传输截图

现象说明:增量数据产生后,不进行传输,直接写入缓存。

6、CDP辅助排查

控制台对应保护规则中开启CDP功能,可查看每一次捕获I/O的操作类型与IO大小,定位异常缓存的根因。

CDP查看每次IO为1字节写入截图

案例中每次I/O仅有1字节写入,即使文件体积很小,也会生成海量IO请求;该类写入模式下,未部署英方时服务器负载就已经很高。英方也可以作为评估应用程序IO读写逻辑好坏的辅助工具。

三、处理办法

  • 条件允许,修改业务软件的文件写入逻辑,减少高频细碎小I/O;
  • 无法修改业务代码,可使用英方一致性比较工具执行定时备份,实现分钟级容灾;
  • 等待英方后续版本针对小I/O捕获逻辑做产品优化。

补充说明:
该问题属于业务应用I/O行为导致,不是英方软件故障,优先排查业务程序读写逻辑。

扩展阅读

相关文章
下一篇:

及时响应,快速服务,为您保驾续航

立即注册

请先完成图形验证

验  证  码:

英方官网验证码
第三方二维码 第三方二维码
英方公告铃铛图标
英方公告铃铛图标

公告

英方侧边栏向右箭头
英方高亮提示圆点
英方软件公告
各位求职者、合作伙伴:
近期有第三方冒用英方名义发布虚假招聘、不实业务信息。我司正规招聘全程零收费,非官网渠道信息均不作数。
信息核验热线:400-0078-655
遇诈骗请保留证据,及时联系我们并报警
英方软件
2026 年 6 月 23 日
英方邮件咨询图标
英方邮件咨询图标

邮件

英方销售支持图标
英方销售支持图标

销售

英方侧边栏向右箭头
联系销售:400-0078-655 转 1