数据库存储过程抽取

在典型的重复数据删除技术中，根据不同的数据备份场景选择适合的重删策略与粒度方案。在确定重删策略与粒度后，会根据输入侧不同粒度（卷级、文件级、块级）的数据采取不同的数据切分策略，并依据任务级与全局指纹库提供自适应源端的全局重删算法与策略，当前支持源端块级、文件级重删和并行重删技术。源端重删是采用基于内容的可变长数据切分算法，通过对数据块进行哈希算法的***标记，即指纹（Fingerprint），在指纹库中寻找相同的指纹。如果存在相同指纹，则表示已保存了相同的数据块，ADM则不再保存此数据块，而是引用已存在的数据块，从而节省更多的备份空间。该算法还可以智能识别已修改的数据和未修改的数据，从而避免因修改数据位移而导致的未修改数据切分到新数据块中的问题，比较大限度地提升重删性能和重删率，为避免数据备份过程中冗余网络传输与存储开销，在源端设置粗粒度前置数据校验可以明显缩小备份传输过程中的数据冗余，目的在于不备份任意一个冗余数据。敏捷数据管理平台ADM产品数据信创产品，实现了国产数据库的备份与国产操作系统的兼容。数据库存储过程抽取

上讯信息敏捷数据管理平台（Agile Data Management）简称ADM，是采用基于CDM（副本数据管理）的数据库虚拟化技术，为企业上中下游数据的备份恢复、数据验证、安全***、分发交付提供的面向数据全生命周期的安全管理解决方案，在保证数据安全使用的同时，提高了数据使用效率并降低了数据存储成本。ADM由数据备份管理、备份校验管理、数据副本管理、数据脱敏管理组成，实现了数据复制容灾、数据存储管理和数据流程管理，通过自动化流程任务编排的方式实现了数据使用的成本控制、版本管理与开发利用，充分发挥了数据资产的潜在价值。组织架构敏捷数据管理平台虚拟数据秒级分发，提升了环境准备效率，数据交付时间整体节约100倍以上。

并行重删技术是在多个不同的节点上构建指纹库，并将指纹并行分布于多个节点，采用内存级指纹库进行重删，所有指纹读写全部保存于内存中，从而提升指纹查询和处理效率，并且减少了因磁盘中指纹库增大所导致的随机IO压力。以此识别并消除数据备份过程中数据源中重复的数据，该技术适用于不同平台中的文件、数据库、虚拟机等不同应用类型的数据，可以大幅度减少需要传输的数据量，从而极大地节省数据传输带宽，解决单点性能和存储空间压力。

数据副本管理是上讯敏捷数据管理平台ADM功能模块之一，可单独作为企业级副本数据管理（CDM）产品。为应对当前复杂的IT环境，ADM提出集云、物理、虚拟为一体的，面向结构化数据库、非结构化数据、虚拟化和云平台的数据副本分发与交付管理解决方案。主要通过数据副本管理的核心专利技术——数据库虚拟化技术对源数据进行CDM原格式获取生成黄金副本、存储黄金副本作为基准数据、虚拟化为多个副本挂载恢复，达到快速交付副本数据、灵活管理副本数据版本、集中管理副本数据存储与流转的目标，是主要面向企业数据运维、软件开发测试部门解决自动化闭环取数供数、测试数据快速交付等典型应用场景的问题。数据安全领域的CDM是指拷贝数据管理。

数据分钟级提供，提升数据交付效率缩短开发周期通过部署ADM几分钟内即可创建一个数据量TB级别的虚拟数据库，进而，快速将测试数据传输到下游的开发测试环境，无需繁琐冗长的审核和等待，这一过程有效减少了下游开发测试场景中测试数据的准备时间，通常从以天计算缩短到以小时计算，时间效率提升明显，**缩短了开发测试时间，进而缩短产品的发布周期。（5）敏感数据定义识别与仿真***，保障数据流转环节的安全性通过智能定义敏感数据类型，自动发现和识别敏感数据，包括数据类型、内容、约束关系，灵活排序减少人为筛选，***精细定位敏感数据源。丰富的***算法与仿真的字典库相结合，保证***后数据仍具有业务属性，数据表间关系仍具有业务一致性，不影响数据挖掘分析数据价值。对涉及企业、个人信息的隐私数据，包括资金财产、个人、企业隐私的对照关系进行敏感数据识别，通过内置的***规则进行***处理，将数据敏感部分去隐私化，但并不失去数据挖掘的价值特征，减少数据隐私泄露带来的风险和损失，甚至降低可能发生的人身伤害和违法犯罪事件。副本数据管理CDM产品能针对开发测试场景快速提供测试数据。环境隔离

上讯ADM产品的可管理性体现在数据从上游到下游获取、传输、流转的集中式管理，同时可进行版本管理。数据库存储过程抽取

上讯敏捷数据管理平台ADM可实现针对数据库的数据保护，ADM采用图形化向导式操作，无需用户手动执行备份和恢复脚本，简化了备份恢复的难度。既支持传统的无挂载备份，也支持全量备份、后续增量备份与全量快照合成、事务日志同步相结合的方式。数据库备份的基本流程如下：通过管理控制中心（Master）的Web管理页面推送客户端（Client）软件到需要保护的生产服务器上，自动完成客户端软件的安装和注册，与Server服务器端保持通讯。客户端将识别生产服务器中的数据库数据，并通过备份API读取数据库数据，然后将其传输至数据服务节点完成备份。管理控制中心（Master）负责向客户端软件和服务节点发送控制信息，管理整个备份任务的运行。例如：Oracle数据库采用RMAN接口进行多通道并行备份，备份粒度支持整个实例备份，恢复粒度支持细化到选定表恢复。数据库存储过程抽取