青海住房建设网站,沈阳做企业网站的,建站教程图解,乐都网站建设企业1 什么是布隆过滤器
布隆过滤器实际上是一个非常长的二进制向量(bitmap)和一系列随机哈希函数。那什么又叫哈希函数呢#xff1f;哈希函数指将哈希表中元素的关键键值通过一定的函数关系映射为元素存储位置的函数。#xff08;HashMap源码#xff09; 布隆过滤器的优点哈希函数指将哈希表中元素的关键键值通过一定的函数关系映射为元素存储位置的函数。HashMap源码 布隆过滤器的优点
布隆过滤器存储空间和插入/查询时间都是常数Hash函数相互之间没有关系方便由硬件并行实现布隆过滤器不需要存储元素本身在某些对保密要求非常严格的场合有优势布隆过滤器可以表示全集其它任何数据结构都不能 布隆过滤器的缺点
有一定的误判率常见的弥补措施是建立一个小的白名单存储那些可能被误判的元素。但是如果元素数量太少使用散列表足矣。一般情况下不能从布隆过滤器中删除元素。
2 布隆过滤器的作用
布隆过滤器可以用于检索一个元素是否在一个集合中常用于解决如下问题
解决Redis缓存穿透邮件过滤使用布隆过滤器来做邮件黑名单过滤解决视频推荐过的不再推荐
3 布隆过滤器的基本原理
首先建立一个二进制向量并将所有位设置为0。然后选定K个散列函数用于对元素进行K次散列计算向量的位下标。添加元素当添加一个元素到集合中时通过K个散列函数分别作用于元素生成K个值作为下标并将向量的相应位设置为1。检查元素如果要检查一个元素是否存在集合中用同样的散列方法生成K个下标并检查向量的相应位是否全部是1。如果全为1则该元素很可能在集合中否则只要有1个或以上的位为0该元素肯定不在集合中。 4 在Spring Boot中集成Redisson实现布隆过滤器 4.1 添加maven依赖
不再需要spring-boot-starter-data-redis依赖但是都添加也不会报错
!--redisson--
dependencygroupIdorg.redisson/groupIdartifactIdredisson-spring-boot-starter/artifactIdversion3.17.0/version
/dependency4.2 配置yml
spring:datasource:username: xxpassword: xxxxxxdriver-class-name: com.mysql.cj.jdbc.Driverurl: jdbc:mysql://localhost:3306/test?useUnicodetruecharacterEncodingutf-8serverTimezoneCTTcache:type: redisredis:database: 0port: 6379 # Redis服务器连接端口host: localhost # Redis服务器地址password: xxxxxx # Redis服务器连接密码默认为空timeout: 5000 # 超时时间4.3 配置RedissonConfig
import com.fasterxml.jackson.annotation.JsonAutoDetect;
import com.fasterxml.jackson.annotation.PropertyAccessor;
import com.fasterxml.jackson.databind.ObjectMapper;
import org.redisson.Redisson;
import org.redisson.api.RedissonClient;
import org.redisson.config.Config;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.cache.CacheManager;
import org.springframework.cache.annotation.EnableCaching;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.redis.cache.RedisCacheConfiguration;
import org.springframework.data.redis.cache.RedisCacheManager;
import org.springframework.data.redis.connection.RedisConnectionFactory;
import org.springframework.data.redis.serializer.Jackson2JsonRedisSerializer;
import org.springframework.data.redis.serializer.RedisSerializationContext;
import org.springframework.data.redis.serializer.RedisSerializer;
import org.springframework.data.redis.serializer.StringRedisSerializer;import java.time.Duration;
import java.util.Random;EnableCaching
Configuration
public class RedissonConfig {Value(${spring.redis.host})private String host;Value(${spring.redis.port})private String port;Value(${spring.redis.password})private String password;Bean(destroyMethod shutdown) // bean销毁时关闭Redisson实例但不关闭Redis服务public RedissonClient redisson() {//创建配置Config config new Config();/*** 连接哨兵config.useSentinelServers().setMasterName(myMaster).addSentinelAddress()* 连接集群 config.useClusterServers().addNodeAddress()*/config.useSingleServer().setAddress(redis:// host : port).setPassword(password).setTimeout(5000);//根据config创建出RedissonClient实例return Redisson.create(config);}Beanpublic CacheManager RedisCacheManager(RedisConnectionFactory factory) {RedisSerializerString redisSerializer new StringRedisSerializer();Jackson2JsonRedisSerializer jackson2JsonRedisSerializer new Jackson2JsonRedisSerializer(Object.class);// 解决查询缓存转换异常的问题ObjectMapper om new ObjectMapper();om.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);/*** 新版本中om.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL)已经被废弃* 建议替换为om.activateDefaultTyping(LaissezFaireSubTypeValidator.instance, ObjectMapper.DefaultTyping.NON_FINAL)*/om.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);jackson2JsonRedisSerializer.setObjectMapper(om);// 配置序列化解决乱码的问题RedisCacheConfiguration config RedisCacheConfiguration.defaultCacheConfig()// 设置缓存过期时间 为解决缓存雪崩,所以将过期时间加随机值.entryTtl(Duration.ofSeconds(60 * 60 new Random().nextInt(60 * 10)))// 设置key的序列化方式.serializeKeysWith(RedisSerializationContext.SerializationPair.fromSerializer(redisSerializer))// 设置value的序列化方式.serializeValuesWith(RedisSerializationContext.SerializationPair.fromSerializer(jackson2JsonRedisSerializer));// .disableCachingNullValues(); //为防止缓存击穿所以允许缓存null值RedisCacheManager cacheManager RedisCacheManager.builder(factory).cacheDefaults(config)// 启用RedisCache以将缓存 put/evict 操作与正在进行的 Spring 管理的事务同步.transactionAware().build();return cacheManager;}
}4.4 工具类BloomFilterUtil
import org.redisson.api.RBloomFilter;
import org.redisson.api.RedissonClient;
import org.springframework.stereotype.Component;import javax.annotation.Resource;Component
public class BloomFilterUtil {Resourceprivate RedissonClient redissonClient;/*** 创建布隆过滤器** param filterName 过滤器名称* param expectedInsertions 预测插入数量* param falsePositiveRate 误判率*/public T RBloomFilterT create(String filterName, long expectedInsertions, double falsePositiveRate) {RBloomFilterT bloomFilter redissonClient.getBloomFilter(filterName);bloomFilter.tryInit(expectedInsertions, falsePositiveRate);return bloomFilter;}
}4.5 编写service实现层 其它层正常编写即可与之前并无差
import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
import com.company.springboot.entity.User;
import com.company.springboot.mapper.UserMapper;
import com.company.springboot.service.UserService;
import com.company.springboot.util.BloomFilterUtil;
import org.redisson.api.RBloomFilter;
import org.redisson.api.RedissonClient;
import org.redisson.client.codec.StringCodec;
import org.springframework.cache.annotation.CacheEvict;
import org.springframework.cache.annotation.CachePut;
import org.springframework.cache.annotation.Cacheable;
import org.springframework.stereotype.Service;import javax.annotation.PostConstruct;
import javax.annotation.Resource;
import java.util.List;
import java.util.Random;
import java.util.concurrent.TimeUnit;Service
public class UserServiceImpl extends ServiceImplUserMapper, Userimplements UserService {// 预期插入数量static long expectedInsertions 200L;// 误判率static double falseProbability 0.01;// 非法请求所返回的JSONstatic String illegalJson [\com.company.springboot.entity.User\,{\id\:null,\userName\:\null\,\sex\:null,\age\:null}];private RBloomFilterLong bloomFilter null;Resourceprivate BloomFilterUtil bloomFilterUtil;Resourceprivate RedissonClient redissonClient;Resourceprivate UserMapper userMapper;PostConstruct // 项目启动的时候执行该方法也可以理解为在spring容器初始化的时候执行该方法public void init() {// 启动项目时初始化bloomFilterListUser userList this.list();bloomFilter bloomFilterUtil.create(idWhiteList, expectedInsertions, falseProbability);for (User user : userList) {bloomFilter.add(user.getId());}}Cacheable(cacheNames user, key #id, unless #resultnull)public User findById(Long id) {// bloomFilter中不存在该key,为非法访问if (!bloomFilter.contains(id)) {System.out.println(所要查询的数据既不在缓存中也不在数据库中为非法key);/*** 设置unless #resultnull并在非法访问的时候返回null的目的是不将该次查询返回的null使用* RedissonConfig--RedisCacheManager--RedisCacheConfiguration--entryTtl设置的过期时间存入缓存。** 因为那段时间太长了在那段时间内可能该非法key又添加到bloomFilter比如之前不存在id为1234567的用户* 在那段时间可能刚好id为1234567的用户完成注册使该key成为合法key。** 所以我们需要在缓存中添加一个可容忍的短期过期的null或者是其它自定义的值,使得短时间内直接读取缓存中的该值。** 因为Spring Cache本身无法缓存null因此选择设置为一个其中所有值均为null的JSON*/redissonClient.getBucket(user:: id, new StringCodec()).set(illegalJson, new Random().nextInt(200) 300, TimeUnit.SECONDS);return null;}// 不是非法访问可以访问数据库System.out.println(数据库中得到数据*****);return userMapper.selectById(id);}// 先执行方法体中的代码成功执行之后删除缓存CacheEvict(cacheNames user, key #id)public boolean delete(Long id) {// 删除数据库中具有的数据,就算此key从此之后不再出现也不能从布隆过滤器删除return userMapper.deleteById(id) 1;}// 如果缓存中先前存在则更新缓存;如果不存在则将方法的返回值存入缓存CachePut(cacheNames user, key #user.id)public User update(User user) {userMapper.updateById(user);// 新生成key的加入布隆过滤器此key从此合法,因为该更新方法并不更新id,所以也不会产生新的合法的keybloomFilter.add(user.getId());return user;}CachePut(cacheNames user, key #user.id)public User insert(User user) {userMapper.insert(user);// 新生成key的加入布隆过滤器此key从此合法bloomFilter.add(user.getId());return user;}
}
