大数据平台敏感数据处理

（1）国产化数据备份系统兼容性不足当前国产化数据保护系统对国产化数据库、文件、虚拟化平台、容器、云服务器等备份源类型兼容不***，适配过程中需要更多的时间进行功能稳定性验证。（2）数据备份恢复验证耗时耗力当前采用NetBackup等集中备份系统备份的数据需采用手动恢复数据，过程繁琐、重复度高、专业性强，耗费大量的时间和人力成本。（3）数据交付时间长不论是通过数据恢复还是数据拷贝来提供测试数据，需要几小时到几周的时间。（4）占用大量存储资源数以千计的数据副本占用大量存储资源，需要更多的维护成本。（5）数据版本回退困难开发、测试环境中，当完成一轮跑批测试或功能调试后，重置数据状态需要重新导入数据或重新恢复数据，回退数据产生的时间成本巨大。（6）数据安全风险真实数据被用于测试使用后无法及时回收和销毁，造成资源浪费，存在敏感信息泄露的安全风险。（7）敏感数据安全隐患生产数据库中存在着大量的敏感信息，传统的手工***效率低、仿真度差、***不完全，交付给测试环境后存在隐私泄漏的风险。能提供面向企业上中下游数据的高效使用与安全管控的数据管理产品有什么？大数据平台敏感数据处理

上讯敏捷数据管理平台ADM可实现针对数据库的数据保护，ADM采用图形化向导式操作，无需用户手动执行备份和恢复脚本，简化了备份恢复的难度。既支持传统的无挂载备份，也支持全量备份、后续增量备份与全量快照合成、事务日志同步相结合的方式。数据库备份的基本流程如下：通过管理控制中心（Master）的Web管理页面推送客户端（Client）软件到需要保护的生产服务器上，自动完成客户端软件的安装和注册，与Server服务器端保持通讯。客户端将识别生产服务器中的数据库数据，并通过备份API读取数据库数据，然后将其传输至数据服务节点完成备份。管理控制中心（Master）负责向客户端软件和服务节点发送控制信息，管理整个备份任务的运行。例如：Oracle数据库采用RMAN接口进行多通道并行备份，备份粒度支持整个实例备份，恢复粒度支持细化到选定表恢复。金融数据安全向导式敏感数据处理流程。

上讯敏捷数据管理平台（ADM）数据复制容灾模块主要包括数据远程复制、数据异地容灾两大功能点，是基于ADM系统底层的数据块增量复制功能，全量复制传输，后续增量复制与全量快照合成传输，实现本地和异地均可以同时提供虚拟库对外访问。主要解决数据全生命周期管理中数据传输流转的安全问题，基于数据备份任务和虚拟副本任务，将源数据和副本数据存储到本地ADM的存储池中，在本地ADM和远端ADM之间创建远程复制链路，根据远程复制策略，将本地存储池中的数据同步到远端ADM存储池中，从而为副本数据提供从上游到下游的安全传输路径。

l核心专利技术—数据库虚拟化（1）ADM内置独有的高效压缩存储池，压缩比高达3:1，存储即压缩，***降低了基础数据源获取的存储成本与持续增长的副本数据存储成本。（2）ADM的数据库虚拟化技术，是通过获取一份基础数据源，快速拉起多份虚拟数据库挂载给目标业务使用，虚拟数据库拉起时几乎不占用物理存储空间，在实验室测试环境下拉起一个10TB数据量的虚拟数据库，*占用1GB左右的存储空间，明显节约了存储成本和时间周期，因此针对开发测试场景，需要对同一份数据创建N份副本数据时，存储成本节约近乎N倍。副本数据管理技术可延伸应用到文件、虚拟机的副本创建，是上讯信息推出的适应客户需求的创新功能。

通过智能定义敏感数据类型，自动发现和识别敏感数据，包括数据类型、内容、约束关系，灵活排序减少人为筛选，定位敏感数据源。丰富的算法与仿真的字典库相结合，保证处理后数据仍具有业务属性，数据表间关系仍具有业务一致性，不影响数据挖掘分析数据价值。对涉及企业、个人信息的隐私数据，包括资金财产、个人、企业隐私的对照关系进行敏感数据识别，通过内置的规则进行处理，将数据敏感部分去隐私化，但并不失去数据挖掘的价值特征，减少数据隐私泄露带来的风险和损失，甚至降低可能发生的人身伤害和违法犯罪事件。敏捷数据管理平台贯穿数据收集、数据存储、数据加工、数据传输、数据使用、数据提供、数据回收的各个环节。XML文件变形

敏捷数据管理平台可实现磁盘、磁带、存储池的数据归档。大数据平台敏感数据处理

数据副本管理是上讯敏捷数据管理平台ADM功能模块之一，可单独作为企业级副本数据管理（CDM）产品。为应对当前复杂的IT环境，ADM提出集云、物理、虚拟为一体的，面向结构化数据库、非结构化数据、虚拟化和云平台的数据副本分发与交付管理解决方案。主要通过数据副本管理的核心专利技术——数据库虚拟化技术对源数据进行CDM原格式获取生成黄金副本、存储黄金副本作为基准数据、虚拟化为多个副本挂载恢复，达到快速交付副本数据、灵活管理副本数据版本、集中管理副本数据存储与流转的目标，是主要面向企业数据运维、软件开发测试部门解决自动化闭环取数供数、测试数据快速交付等典型应用场景的问题。大数据平台敏感数据处理