制作网站图文教程,网站 设计 方案,新乡网站建设方案,什么网站简单什么是数据脱敏
数据脱敏的定义
数据脱敏百度百科中是这样定义的#xff1a; 数据脱敏#xff0c;指对某些敏感信息通过脱敏规则进行数据的变形#xff0c;实现敏感隐私数据的可靠保护。这样就可以在开发、测试和其它非生产环境以及外包环境中安全地使用脱敏后的真实数据集…什么是数据脱敏
数据脱敏的定义
数据脱敏百度百科中是这样定义的 数据脱敏指对某些敏感信息通过脱敏规则进行数据的变形实现敏感隐私数据的可靠保护。这样就可以在开发、测试和其它非生产环境以及外包环境中安全地使用脱敏后的真实数据集。在涉及客户安全数据或者一些商业性敏感数据的情况下在不违反系统规则条件下对真实数据进行改造并提供测试使用如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。是数据库安全技术之一。 总的来说数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形实现敏感隐私数据的可靠保护。
在数据脱敏过程中通常会采用不同的算法和技术以根据不同的需求和场景对数据进行处理。例如对于身份证号码可以使用掩码算法masking将前几位数字保留其他位用 “X” 或 * 代替对于姓名可以使用伪造pseudonymization算法将真实姓名替换成随机生成的假名。
常用脱敏规则
常用脱敏规则是为了保护敏感数据的安全性在处理和存储敏感数据时对其进行变换或修改。
下面是几种常见的脱敏规则
替换(常用)将敏感数据中的特定字符或字符序列替换为其他字符。例如将信用卡号中的中间几位数字替换为星号*或其他字符。删除将敏感数据中的部分内容随机删除。比如将电话号码的随机 3 位数字进行删除。重排将原始数据中的某些字符或字段的顺序打乱。例如将身份证号码的随机位交错互换。加噪在数据中注入一些误差或者噪音达到对数据脱敏的效果。例如在敏感数据中添加一些随机生成的字符。加密常用使用加密算法将敏感数据转换为密文。例如将银行卡号用 MD5 或 SHA-256 等哈希函数进行散列。常见加密算法总结可以参考这篇文章常见加密算法总结 | JavaGuide 。……
常用脱敏工具
Hutool
Hutool 一个 Java 基础工具类对文件、流、加密解密、转码、正则、线程、XML 等 JDK 方法进行封装组成各种 Util 工具类同时提供以下组件 可以根据需求对每个模块单独引入也可以通过引入hutool-all方式引入所有模块本文所使用的数据脱敏工具就是在 hutool.core 模块。
现阶段最新版本的 Hutool 支持的脱敏数据类型如下基本覆盖了常见的敏感信息。
用户 id中文姓名身份证号座机号手机号地址电子邮件密码中国大陆车牌包含普通车辆、新能源车辆银行卡
一行代码实现脱敏
Hutool 提供的脱敏方法如下图所示 注意Hutool 脱敏是通过 * 来代替敏感信息的具体实现是在 StrUtil.hide 方法中如果我们想要自定义隐藏符号则可以把 Hutool 的源码拷出来重新实现即可。
这里以手机号、银行卡号、身份证号、密码信息的脱敏为例下面是对应的测试代码。
import cn.hutool.core.util.DesensitizedUtil; import org.junit.Test; import org.springframework.boot.test.context.Spring BootTest;
/** * * description: Hutool实现数据脱敏 */ Spring BootTest public class HuToolDesensitizationTest { Test public void testPhoneDesensitization(){ String phone13723231234; System.out.println(DesensitizedUtil.mobilePhone(phone)); //输出137****1234 } Test public void testBankCardDesensitization(){ String bankCard6217000130008255666; System.out.println(DesensitizedUtil.bankCard(bankCard)); //输出6217 **** **** *** 5666 } Test public void testIdCardNumDesensitization(){ String idCardNum411021199901102321; //只显示前4位和后2位 System.out.println(DesensitizedUtil.idCardNum(idCardNum,4,2)); //输出4110************21 } Test public void testPasswordDesensitization(){ String passwordwww.jd.com_35711; System.out.println(DesensitizedUtil.password(password)); //输出**************** } } 以上就是使用 Hutool 封装好的工具类实现数据脱敏。
配合 JackSon 通过注解方式实现脱敏
现在有了数据脱敏工具类如果前端需要显示数据数据的地方比较多我们不可能在每个地方都调用一个工具类这样就显得代码太冗余了那我们如何通过注解的方式优雅的完成数据脱敏呢
如果项目是基于 Spring Boot 的 web 项目则可以利用 Spring Boot 自带的 jackson 自定义序列化实现。它的实现原理其实就是在 json 进行序列化渲染给前端时进行脱敏。
第一步脱敏策略的枚举。 上面表示支持的脱敏类型。
第二步定义一个用于脱敏的 Desensitization 注解。
Retention (RetentionPolicy.RUNTIME)运行时生效。Target (ElementType.FIELD)可用在字段上。JacksonAnnotationsInside此注解可以点进去看一下是一个元注解主要是用户打包其他注解一起使用。JsonSerialize上面说到过该注解的作用就是可自定义序列化可以用在注解上方法上字段上类上运行时生效等等根据提供的序列化类里面的重写方法实现自定义序列化。 注只有使用了自定义的脱敏枚举 MY_RULE 的时候开始位置和结束位置才生效。
第三步创建自定的序列化类
这一步是我们实现数据脱敏的关键。自定义序列化类继承 JsonSerializer实现 ContextualSerializer 接口并重写两个方法。
/** * author * description: 自定义序列化类 */ AllArgsConstructor NoArgsConstructor public class DesensitizationSerialize extends JsonSerializerString implements ContextualSerializer { private DesensitizationTypeEnum type; private Integer startInclude; private Integer endExclude; Override public void serialize(String str, JsonGenerator jsonGenerator, SerializerProvider serializerProvider) throws IOException { switch (type) { // 自定义类型脱敏 case MY_RULE: jsonGenerator.writeString(CharSequenceUtil.hide(str, startInclude, endExclude)); break; // userId脱敏 case USER_ID: jsonGenerator.writeString(String.valueOf(DesensitizedUtil.userId())); break; // 中文姓名脱敏 case CHINESE_NAME: jsonGenerator.writeString(DesensitizedUtil.chineseName(String.valueOf(str))); break; // 身份证脱敏 case ID_CARD: jsonGenerator.writeString(DesensitizedUtil.idCardNum(String.valueOf(str), 1, 2)); break; // 固定电话脱敏 case FIXED_PHONE: jsonGenerator.writeString(DesensitizedUtil.fixedPhone(String.valueOf(str))); break; // 手机号脱敏 case MOBILE_PHONE: jsonGenerator.writeString(DesensitizedUtil.mobilePhone(String.valueOf(str))); break; // 地址脱敏 case ADDRESS: jsonGenerator.writeString(DesensitizedUtil.address(String.valueOf(str), 8)); break; // 邮箱脱敏 case EMAIL: jsonGenerator.writeString(DesensitizedUtil.email(String.valueOf(str))); break; // 密码脱敏 case PASSWORD: jsonGenerator.writeString(DesensitizedUtil.password(String.valueOf(str))); break; // 中国车牌脱敏 case CAR_LICENSE: jsonGenerator.writeString(DesensitizedUtil.carLicense(String.valueOf(str))); break; // 银行卡脱敏 case BANK_CARD: jsonGenerator.writeString(DesensitizedUtil.bankCard(String.valueOf(str))); break; default: } } Override public JsonSerializer? createContextual(SerializerProvider serializerProvider, BeanProperty beanProperty) throws JsonMappingException { if (beanProperty ! null) { // 判断数据类型是否为String类型 if (Objects.equals(beanProperty.getType().getRawClass(), String.class)) { // 获取定义的注解 Desensitization desensitization beanProperty.getAnnotation(Desensitization.class); // 为null if (desensitization null) { desensitization beanProperty.getContextAnnotation(Desensitization.class); } // 不为null if (desensitization ! null) { // 创建定义的序列化类的实例并且返回入参为注解定义的type,开始位置结束位置。 return new DesensitizationSerialize(desensitization.type(), desensitization.startInclude(), desensitization.endExclude()); } } return serializerProvider.findValueSerializer(beanProperty.getType(), beanProperty); } return serializerProvider.findNullValueSerializer(null); } } 经过上述三步已经完成了通过注解实现数据脱敏了下面我们来测试一下。
首先定义一个要测试的 pojo对应的字段加入要脱敏的策略。
/**** description:*/
Data
NoArgsConstructor
AllArgsConstructor
public class TestPojo {private String userName;Desensitization(type DesensitizationTypeEnum.MOBILE_PHONE)private String phone;Desensitization(type DesensitizationTypeEnum.PASSWORD)private String password;Desensitization(type DesensitizationTypeEnum.MY_RULE, startInclude 0, endExclude 2)private String address;
}
接下来写一个测试的 controller
RestController
public class TestController {RequestMapping(/test)public TestPojo testDesensitization(){TestPojo testPojo new TestPojo();testPojo.setUserName(我是用户名);testPojo.setAddress(地球中国-北京市通州区京东总部2号楼);testPojo.setPhone(13782946666);testPojo.setPassword(sunyangwei123123123.);System.out.println(testPojo);return testPojo;}} 可以看到我们成功实现了数据脱敏。
Apache ShardingSphere
ShardingSphere 是一套开源的分布式数据库中间件解决方案组成的生态圈它由 Sharding-JDBC、Sharding-Proxy 和 Sharding-Sidecar计划中这 3 款相互独立的产品组成。 他们均提供标准化的数据分片、分布式事务和数据库治理功能 。
Apache ShardingSphere 下面存在一个数据脱敏模块此模块集成的常用的数据脱敏的功能。其基本原理是对用户输入的 SQL 进行解析拦截并依靠用户的脱敏配置进行 SQL 的改写从而实现对原文字段的加密及加密字段的解密。最终实现对用户无感的加解密存储、查询。
通过 Apache ShardingSphere 可以自动化透明化数据脱敏过程用户无需关注脱敏中间实现细节。并且提供了多种内置、第三方(AKS)的脱敏策略用户仅需简单配置即可使用。
官方文档地址数据脱敏 :: ShardingSphere 。
FastJSON
平时开发 Web 项目的时候除了默认的 Spring 自带的序列化工具FastJson 也是一个很常用的 Spring Web Restful 接口序列化的工具。
FastJSON 实现数据脱敏的方式主要有两种
基于注解 JSONField 实现需要自定义一个用于脱敏的序列化的类然后在需要脱敏的字段上通过 JSONField 中的 serializeUsing 指定为我们自定义的序列化类型即可。基于序列化过滤器需要实现 ValueFilter 接口重写 process 方法完成自定义脱敏然后在 JSON 转换时使用自定义的转换策略。具体实现可参考这篇文章 https://juejin.cn/post/7067916686141161479。
Mybatis-Mate
先介绍一下 MyBatis、MyBatis-Plus 和 Mybatis-Mate 这三者的关系
MyBatis 是一款优秀的持久层框架它支持定制化 SQL、存储过程以及高级映射。MyBatis-Plus 是一个 MyBatis 的增强工具能够极大地简化持久层的开发工作。Mybatis-Mate 是为 MyBatis-Plus 提供的企业级模块旨在更敏捷优雅处理数据。不过使用之前需要配置授权码付费。
Mybatis-Mate 支持敏感词脱敏内置手机号、邮箱、银行卡号等 9 种常用脱敏规则。 FieldSensitive(testStrategy)
private String username;Configuration
public class SensitiveStrategyConfig {/*** 注入脱敏策略*/Beanpublic ISensitiveStrategy sensitiveStrategy() {// 自定义 testStrategy 类型脱敏处理return new SensitiveStrategy().addStrategy(testStrategy, t - t ***test***);}
}// 跳过脱密处理用于编辑场景
RequestDataTransfer.skipSensitive();
MyBatis-Flex
类似于 MybatisPlusMyBatis-Flex 也是一个 MyBatis 增强框架。MyBatis-Flex 同样提供了数据脱敏功能并且是可以免费使用的。
MyBatis-Flex 提供了 ColumnMask() 注解以及内置的 9 种脱敏规则开箱即用 使用示例
Table(tb_account)
public class Account {Id(keyType KeyType.Auto)private Long id;ColumnMask(Masks.CHINESE_NAME)private String userName;ColumnMask(Masks.EMAIL)private String email;}
如果这些内置的脱敏规则不满足你的要求的话你还可以自定义脱敏规则。
1、通过 MaskManager 注册新的脱敏规则
MaskManager.registerMaskProcessor(自定义规则名称, data - {return data;})
2、使用自定义的脱敏规则
Table(tb_account)
public class Account {Id(keyType KeyType.Auto)private Long id;ColumnMask(自定义规则名称)private String userName;
}
并且对于需要跳过脱密处理的场景例如进入编辑页面编辑用户数据MyBatis-Flex 也提供了对应的支持
MaskManager#execWithoutMask推荐该方法使用了模版方法设计模式保障跳过脱敏处理并执行相关逻辑后自动恢复脱敏处理。MaskManager#skipMask跳过脱敏处理。MaskManager#restoreMask恢复脱敏处理确保后续的操作继续使用脱敏逻辑。
MaskManager#execWithoutMask方法实现如下
public static T T execWithoutMask(SupplierT supplier) {try {skipMask();return supplier.get();} finally {restoreMask();}
}
MaskManager 的skipMask和restoreMask方法一般配套使用推荐try{...}finally{...}模式。
总结
这篇文章主要介绍了
数据脱敏的定义数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形实现敏感隐私数据的可靠保护。常用的脱敏规则替换、删除、重排、加噪和加密。常用的脱敏工具Hutool、Apache ShardingSphere、FastJSON、Mybatis-Mate 和 MyBatis-Flex。
