网站怎么进行优化,做自媒体搬运文章的网站,路由器设置网站,合水网站建设一级缓存实现 什么是一级缓存#xff1f; 为什么使用一级缓存#xff1f; 每当我们使用MyBatis开启一次和数据库的会话#xff0c;MyBatis会创建出一个SqlSession对象表示一次数据库会话。 在对数据库的一次会话中#xff0c;我们有可能会反复地执行完全相同的查询语句 为什么使用一级缓存 每当我们使用MyBatis开启一次和数据库的会话MyBatis会创建出一个SqlSession对象表示一次数据库会话。 在对数据库的一次会话中我们有可能会反复地执行完全相同的查询语句如果不采取一些措施的话每一次查询都会查询一次数据库,而我们在极短的时间内做了完全相同的查询那么它们的结果极有可能完全相同由于查询一次数据库的代价很大这有可能造成很大的资源浪费。 为了解决这一问题减少资源的浪费MyBatis会在表示会话的SqlSession对象中建立一个简单的缓存将每次查询到的结果结果缓存起来当下次查询的时候如果判断先前有个完全一样的查询会直接从缓存中直接将结果取出返回给用户不需要再进行一次数据库查询了。 如下图所示MyBatis一次会话: 一个SqlSession对象中创建一个本地缓存(local cache)对于每一次查询都会尝试根据查询的条件去本地缓存中查找是否在缓存中如果在缓存中就直接从缓存中取出然后返回给用户否则从数据库读取数据将查询结果存入缓存并返回给用户。 对于会话Session级别的数据缓存我们称之为一级数据缓存简称一级缓存。 MyBatis中的一级缓存是怎样组织的 即SqlSession中的缓存是怎样组织的由于MyBatis使用SqlSession对象表示一次数据库的会话那么对于会话级别的一级缓存也应该是在SqlSession中控制的。 实际上, MyBatis只是一个MyBatis对外的接口SqlSession将它的工作交给了Executor执行器这个角色来完成负责完成对数据库的各种操作。当创建了一个SqlSession对象时MyBatis会为这个SqlSession对象创建一个新的Executor执行器而缓存信息就被维护在这个Executor执行器中MyBatis将缓存和对缓存相关的操作封装成了Cache接口中。SqlSession、Executor、Cache之间的关系如下列类图所示 如上述的类图所示Executor接口的实现类BaseExecutor中拥有一个Cache接口的实现类PerpetualCache则对于BaseExecutor对象而言它将使用PerpetualCache对象维护缓存。
综上SqlSession对象、Executor对象、Cache对象之间的关系如下图所示 由于Session级别的一级缓存实际上就是使用PerpetualCache维护的那么PerpetualCache是怎样实现的呢 PerpetualCache实现原理其实很简单其内部就是通过一个简单的HashMapk,v 来实现的没有其他的任何限制。如下是PerpetualCache的实现代码 package org.apache.ibatis.cache.impl; import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.locks.ReadWriteLock; import org.apache.ibatis.cache.Cache;
import org.apache.ibatis.cache.CacheException; /** * 使用简单的HashMap来维护缓存 * author Clinton Begin */
public class PerpetualCache implements Cache { private String id; private MapObject, Object cache new HashMapObject, Object(); public PerpetualCache(String id) { this.id id; } public String getId() { return id; } public int getSize() { return cache.size(); } public void putObject(Object key, Object value) { cache.put(key, value); } public Object getObject(Object key) { return cache.get(key); } public Object removeObject(Object key) { return cache.remove(key); } public void clear() { cache.clear(); } public ReadWriteLock getReadWriteLock() { return null; } public boolean equals(Object o) { if (getId() null) throw new CacheException(Cache instances require an ID.); if (this o) return true; if (!(o instanceof Cache)) return false; Cache otherCache (Cache) o; return getId().equals(otherCache.getId()); } public int hashCode() { if (getId() null) throw new CacheException(Cache instances require an ID.); return getId().hashCode(); } } 一级缓存的生命周期有多长 MyBatis在开启一个数据库会话时会创建一个新的SqlSession对象SqlSession对象中会有一个新的Executor对象Executor对象中持有一个新的PerpetualCache对象当会话结束时SqlSession对象及其内部的Executor对象还有PerpetualCache对象也一并释放掉。 如果SqlSession调用了close()方法会释放掉一级缓存PerpetualCache对象一级缓存将不可用 如果SqlSession调用了clearCache()会清空PerpetualCache对象中的数据但是该对象仍可使用 SqlSession中执行了任何一个update操作(update()、delete()、insert()) 都会清空PerpetualCache对象的数据但是该对象可以继续使用 SqlSession 一级缓存的工作流程 对于某个查询根据statementId,params,rowBounds来构建一个key值根据这个key值去缓存Cache中取出对应的key值存储的缓存结果 判断从Cache中根据特定的key值取的数据数据是否为空即是否命中 如果命中则直接将缓存结果返回 如果没命中去数据库中查询数据得到查询结果将key和查询到的结果分别作为key,value对存储到Cache中将查询结果返回 结束。 Cache接口的设计以及CacheKey的定义 如下图所示MyBatis定义了一个org.apache.ibatis.cache.Cache接口作为其Cache提供者的SPI(Service Provider Interface) 所有的MyBatis内部的Cache缓存都应该实现这一接口。MyBatis定义了一个PerpetualCache实现类实现了Cache接口实际上在SqlSession对象里的Executor对象内维护的Cache类型实例对象就是PerpetualCache子类创建的。 MyBatis内部还有很多Cache接口的实现一级缓存只会涉及到这一个PerpetualCache子类Cache的其他实现将会放到二级缓存中介绍。 我们知道Cache最核心的实现其实就是一个Map将本次查询使用的特征值作为key将查询结果作为value存储到Map中。现在最核心的问题出现了怎样来确定一次查询的特征值换句话说就是怎样判断某两次查询是完全相同的查询也可以这样说如何确定Cache中的key值 MyBatis认为对于两次查询如果以下条件都完全一样那么就认为它们是完全相同的两次查询 传入的 statementId 查询时要求的结果集中的结果范围 结果的范围通过rowBounds.offset和rowBounds.limit表示 这次查询所产生的最终要传递给JDBC java.sql.Preparedstatement的Sql语句字符串boundSql.getSql() 传递给java.sql.Statement要设置的参数值 现在分别解释上述四个条件 传入的statementId对于MyBatis而言你要使用它必须需要一个statementId它代表着你将执行什么样的Sql MyBatis自身提供的分页功能是通过RowBounds来实现的它通过rowBounds.offset和rowBounds.limit来过滤查询出来的结果集这种分页功能是基于查询结果的再过滤而不是进行数据库的物理分页 由于MyBatis底层还是依赖于JDBC实现的那么对于两次完全一模一样的查询MyBatis要保证对于底层JDBC而言也是完全一致的查询才行。而对于JDBC而言两次查询只要传入给JDBC的SQL语句完全一致传入的参数也完全一致就认为是两次查询是完全一致的。 上述的第3个条件正是要求保证传递给JDBC的SQL语句完全一致第4条则是保证传递给JDBC的参数也完全一致即3、4两条MyBatis最本质的要求就是调用JDBC的时候传入的SQL语句要完全相同传递给JDBC的参数值也要完全相同。 综上所述,CacheKey由以下条件决定statementId rowBounds 传递给JDBC的SQL 传递给JDBC的参数值 CacheKey的创建
对于每次的查询请求Executor都会根据传递的参数信息以及动态生成的SQL语句将上面的条件根据一定的计算规则创建一个对应的CacheKey对象。 我们知道创建CacheKey的目的就两个 根据CacheKey作为key,去Cache缓存中查找缓存结果 如果查找缓存命中失败则通过此CacheKey作为key将从数据库查询到的结果作为value组成key,value对存储到Cache缓存中 CacheKey的构建被放置到了Executor接口的实现类BaseExecutor中定义如下 /** * 所属类: org.apache.ibatis.executor.BaseExecutor * 功能 : 根据传入信息构建CacheKey */
public CacheKey createCacheKey(MappedStatement ms, Object parameterObject, RowBounds rowBounds, BoundSql boundSql) { if (closed) throw new ExecutorException(Executor was closed.); CacheKey cacheKey new CacheKey(); //1.statementId cacheKey.update(ms.getId()); //2. rowBounds.offset cacheKey.update(rowBounds.getOffset()); //3. rowBounds.limit cacheKey.update(rowBounds.getLimit()); //4. SQL语句 cacheKey.update(boundSql.getSql()); //5. 将每一个要传递给JDBC的参数值也更新到CacheKey中 ListParameterMapping parameterMappings boundSql.getParameterMappings(); TypeHandlerRegistry typeHandlerRegistry ms.getConfiguration().getTypeHandlerRegistry(); for (int i 0; i parameterMappings.size(); i) { // mimic DefaultParameterHandler logic ParameterMapping parameterMapping parameterMappings.get(i); if (parameterMapping.getMode() ! ParameterMode.OUT) { Object value; String propertyName parameterMapping.getProperty(); if (boundSql.hasAdditionalParameter(propertyName)) { value boundSql.getAdditionalParameter(propertyName); } else if (parameterObject null) { value null; } else if (typeHandlerRegistry.hasTypeHandler(parameterObject.getClass())) { value parameterObject; } else { MetaObject metaObject configuration.newMetaObject(parameterObject); value metaObject.getValue(propertyName); } //将每一个要传递给JDBC的参数值也更新到CacheKey中 cacheKey.update(value); } } return cacheKey;
} CacheKey的hashcode生成算法 刚才已经提到Cache接口的实现本质上是使用的HashMapk,v,而构建CacheKey的目的就是为了作为HashMapk,v中的key值。而HashMap是通过key值的hashcode 来组织和存储的那么构建CacheKey的过程实际上就是构造其hashCode的过程。下面的代码就是CacheKey的核心hashcode生成算法感兴趣的话可以看一下 public void update(Object object) { if (object ! null object.getClass().isArray()) { int length Array.getLength(object); for (int i 0; i length; i) { Object element Array.get(object, i); doUpdate(element); } } else { doUpdate(object); }
} private void doUpdate(Object object) { //1. 得到对象的hashcode; int baseHashCode object null ? 1 : object.hashCode(); //对象计数递增 count; checksum baseHashCode; //2. 对象的hashcode 扩大count倍 baseHashCode * count; //3. hashCode * 拓展因子默认37拓展扩大后的对象hashCode值 hashcode multiplier * hashcode baseHashCode; updateList.add(object);
} MyBatis认为的完全相同的查询不是指使用sqlSession查询时传递给算起来Session的所有参数值完完全全相同你只要保证statementIdrowBounds,最后生成的SQL语句以及这个SQL语句所需要的参数完全一致就可以了。 一级缓存的性能分析 MyBatis对会话Session级别的一级缓存设计的比较简单就简单地使用了HashMap来维护并没有对HashMap的容量和大小进行限制 读者有可能就觉得不妥了如果我一直使用某一个SqlSession对象查询数据这样会不会导致HashMap太大而导致 java.lang.OutOfMemoryError错误啊 读者这么考虑也不无道理不过MyBatis的确是这样设计的。 MyBatis这样设计也有它自己的理由 一般而言SqlSession的生存时间很短。一般情况下使用一个SqlSession对象执行的操作不会太多执行完就会消亡 对于某一个SqlSession对象而言只要执行update操作update、insert、delete都会将这个SqlSession对象中对应的一级缓存清空掉所以一般情况下不会出现缓存过大影响JVM内存空间的问题 可以手动地释放掉SqlSession对象中的缓存。 一级缓存是一个粗粒度的缓存没有更新缓存和缓存过期的概念 MyBatis的一级缓存就是使用了简单的HashMapMyBatis只负责将查询数据库的结果存储到缓存中去 不会去判断缓存存放的时间是否过长、是否过期因此也就没有对缓存的结果进行更新这一说了。 根据一级缓存的特性在使用的过程中我认为应该注意 对于数据变化频率很大并且需要高时效准确性的数据要求我们使用SqlSession查询的时候要控制好SqlSession的生存时间 SqlSession的生存时间越长它其中缓存的数据有可能就越旧从而造成和真实数据库的误差同时对于这种情况用户也可以手动地适时清空SqlSession中的缓存 对于只执行、并且频繁执行大范围的select操作的SqlSession对象SqlSession对象的生存时间不应过长。 二级缓存实现 MyBatis的二级缓存是Application级别的缓存它可以提高对数据库查询的效率以提高应用的性能。 MyBatis的缓存机制整体设计以及二级缓存的工作模式 如图所示当开一个会话时一个SqlSession对象会使用一个Executor对象来完成会话操作MyBatis的二级缓存机制的关键就是对这个Executor对象做文章。如果用户配置了cacheEnabledtrue那么MyBatis在为SqlSession对象创建Executor对象时会对Executor对象加上一个装饰者CachingExecutor这时SqlSession使用CachingExecutor对象来完成操作请求。CachingExecutor对于查询请求会先判断该查询请求在Application级别的二级缓存中是否有缓存结果如果有查询结果则直接返回缓存结果如果缓存中没有再交给真正的Executor对象来完成查询操作之后CachingExecutor会将真正Executor返回的查询结果放置到缓存中然后在返回给用户。 CachingExecutor是Executor的装饰者以增强Executor的功能使其具有缓存查询的功能这里用到了设计模式中的装饰者模式CachingExecutor和Executor的接口的关系如下类图所示 MyBatis二级缓存的划分 MyBatis并不是简单地对整个Application就只有一个Cache缓存对象它将缓存划分的更细即是Mapper级别的即每一个Mapper都可以拥有一个Cache对象具体如下 为每一个Mapper分配一个Cache缓存对象使用cache节点配置 MyBatis将Application级别的二级缓存细分到Mapper级别即对于每一个Mapper.xml,如果在其中使用了cache 节点则MyBatis会为这个Mapper创建一个Cache缓存对象如下图所示 注上述的每一个Cache对象都会有一个自己所属的namespace命名空间并且会将Mapper的 namespace作为它们的ID 多个Mapper共用一个Cache缓存对象使用cache-ref节点配置 如果你想让多个Mapper公用一个Cache的话你可以使用cache-ref namespace节点来指定你的这个Mapper使用到了哪一个Mapper的Cache缓存。 使用二级缓存必须要具备的条件 MyBatis对二级缓存的支持粒度很细它会指定某一条查询语句是否使用二级缓存。 虽然在Mapper中配置了cache,并且为此Mapper分配了Cache对象这并不表示我们使用Mapper中定义的查询语句查到的结果都会放置到Cache对象之中我们必须指定Mapper中的某条选择语句是否支持缓存即如下所示在select 节点中配置useCachetrueMapper才会对此Select的查询支持缓存特性否则不会对此Select查询不会经过Cache缓存。如下所示Select语句配置了useCachetrue则表明这条Select语句的查询会使用二级缓存。 select idselectByMinSalary resultMapBaseResultMap parameterTypejava.util.Map useCachetrue 总之要想使某条Select查询支持二级缓存你需要保证 MyBatis支持二级缓存的总开关全局配置变量参数 cacheEnabledtrue 该select语句所在的Mapper配置了cache 或cached-ref节点并且有效 该select语句的参数 useCachetrue 一级缓存和二级缓存的使用顺序 请注意如果你的MyBatis使用了二级缓存并且你的Mapper和select语句也配置使用了二级缓存那么在执行select查询的时候MyBatis会先从二级缓存中取输入其次才是一级缓存即MyBatis查询数据的顺序是二级缓存 ——— 一级缓存 —— 数据库。 二级缓存实现的选择 MyBatis对二级缓存的设计非常灵活它自己内部实现了一系列的Cache缓存实现类并提供了各种缓存刷新策略如LRUFIFO等等另外MyBatis还允许用户自定义Cache接口实现用户是需要实现org.apache.ibatis.cache.Cache接口然后将Cache实现类配置在cache type节点的type属性上即可除此之外MyBatis还支持跟第三方内存缓存库如Memecached的集成总之使用MyBatis的二级缓存有三个选择: MyBatis自身提供的缓存实现 用户自定义的Cache接口实现 跟第三方内存缓存库的集成 MyBatis自身提供的二级缓存的实现 MyBatis自身提供了丰富的并且功能强大的二级缓存的实现它拥有一系列的Cache接口装饰者可以满足各种对缓存操作和更新的策略。 MyBatis定义了大量的Cache的装饰器来增强Cache缓存的功能如下类图所示。 对于每个Cache而言都有一个容量限制MyBatis各供了各种策略来对Cache缓存的容量进行控制以及对Cache中的数据进行刷新和置换。MyBatis主要提供了以下几个刷新和置换策略 LRULeast Recently Used,最近最少使用算法即如果缓存中容量已经满了会将缓存中最近最少被使用的缓存记录清除掉然后添加新的记录 FIFOFirst in first out,先进先出算法如果缓存中的容量已经满了那么会将最先进入缓存中的数据清除掉 Scheduled指定时间间隔清空算法该算法会以指定的某一个时间间隔将Cache缓存中的数据清空 如何细粒度地控制二级缓存 关于MyBatis的二级缓存的实际问题 现有AMapper.xml中定义了对数据库表 ATable 的CRUD操作BMapper定义了对数据库表BTable的CRUD操作 假设 MyBatis 的二级缓存开启并且 AMapper 中使用了二级缓存AMapper对应的二级缓存为ACache 除此之外AMapper 中还定义了一个跟BTable有关的查询语句类似如下所述 select idselectATableWithJoin resultMapBaseResultMap useCachetrue select * from ATable left join BTable on ....
/select 执行以下操作 执行AMapper中的selectATableWithJoin 操作此时会将查询到的结果放置到AMapper对应的二级缓存ACache中 执行BMapper中对BTable的更新操作(update、delete、insert)后BTable的数据更新 再执行1完全相同的查询这时候会直接从AMapper二级缓存ACache中取值将ACache中的值直接返回 好问题就出现在第3步上 由于AMapper的“selectATableWithJoin” 对应的SQL语句需要和BTable进行join查找而在第 2 步BTable的数据已经更新了但是第 3 步查询的值是第 1 步的缓存值已经极有可能跟真实数据库结果不一样即ACache中缓存数据过期了 总结来看就是 对于某些使用了 join连接的查询如果其关联的表数据发生了更新join连接的查询由于先前缓存的原因导致查询结果和真实数据不同步 从MyBatis的角度来看这个问题可以这样表述 对于某些表执行了更新(update、delete、insert)操作后如何去清空跟这些表有关联的查询语句所造成的缓存 当前MyBatis二级缓存的工作机制 MyBatis二级缓存的一个重要特点即松散的Cache缓存管理和维护 一个Mapper中定义的增删改查操作只能影响到自己关联的Cache对象。如上图所示的Mapper namespace1中定义的若干CRUD语句产生的缓存只会被放置到相应关联的Cache1中即Mapper namespace2,namespace3,namespace4 中的CRUD的语句不会影响到Cache1。 可以看出Mapper之间的缓存关系比较松散相互关联的程度比较弱。 现在再回到上面描述的问题如果我们将AMapper和BMapper共用一个Cache对象那么当BMapper执行更新操作时可以清空对应Cache中的所有的缓存数据这样的话数据不是也可以保持最新吗 确实这个也是一种解决方案不过它会使缓存的使用效率变的很低AMapper和BMapper的任意的更新操作都会将共用的Cache清空会频繁地清空Cache导致Cache实际的命中率和使用率就变得很低了所以这种策略实际情况下是不可取的。 最理想的解决方案就是 对于某些表执行了更新(update、delete、insert)操作后去清空跟这些指定的表有关联的查询语句所造成的缓存; 这样就是以很细的粒度管理MyBatis内部的缓存使得缓存的使用率和准确率都能大大地提升。 文章转载自seven97_top 原文链接《深入理解Mybatis原理》Mybatis中的缓存实现原理 - seven97_top - 博客园 体验地址引迈 - JNPF快速开发平台_低代码开发平台_零代码开发平台_流程设计器_表单引擎_工作流引擎_软件架构
