冰河技术
导读
♻学习路线
  • 面试必问系列

    • 面试必问
  • 架构与模式

    • Java极简设计模式
    • 实战高并发设计模式
  • Java核心技术

    • Java8新特性
    • IOC核心技术
    • JVM调优技术
  • 容器化核心技术

    • Dockek核心技术
  • 分布式存储

    • Mycat核心技术
  • 数据库核心技术

    • MySQL基础篇
  • 服务器核心技术

    • Nginx核心技术
  • 渗透核心技术

    • 渗透实战技术
  • 底层技术
  • 源码分析
  • 基础案例
  • 实战案例
  • 面试
  • 系统架构
  • Spring6核心技术
  • 分布式事务

    • 分布式事务系列视频
  • SpringBoot
  • SpringCloudAlibaba
  • 🔥AI大模型项目

    • 一站式AI智能平台
    • AI智能客服系统
    • AI智能问答系统
    • 实战AI大模型
  • 中间件项目

    • 手写高性能Redis组件
    • 手写高性能脱敏组件
    • 手写线程池项目
    • 手写高性能SQL引擎
    • 手写高性能Polaris网关
    • 手写高性能RPC项目
  • 高并发项目

    • 分布式IM即时通讯系统(新)
    • 分布式Seckill秒杀系统
    • 实战高并发设计模式
  • 微服务项目

    • 简易电商脚手架项目
  • 手撕源码

    • 手撕Spring6源码
🌍知识星球
  • 总览

    • 《书籍汇总》
  • 出版图书

    • 《深入理解高并发编程:核心原理与案例实战》
    • 《深入理解高并发编程:JDK核心技术》
    • 《深入高平行開發:深度原理&專案實戰》
    • 《深入理解分布式事务:原理与实战》
    • 《MySQL技术大全:开发、优化与运维实战》
    • 《海量数据处理与大数据技术实战》
  • 电子书籍

    • 《实战高并发设计模式》
    • 《深入理解高并发编程(第2版)》
    • 《深入理解高并发编程(第1版)》
    • 《从零开始手写RPC框架(基础篇)》
    • 《SpringCloud Alibaba实战》
    • 《冰河的渗透实战笔记》
    • 《MySQL核心知识手册》
    • 《Spring IOC核心技术》
  • 关于自己
  • 关于学习
  • 关于职场
B站
Github
导读
♻学习路线
  • 面试必问系列

    • 面试必问
  • 架构与模式

    • Java极简设计模式
    • 实战高并发设计模式
  • Java核心技术

    • Java8新特性
    • IOC核心技术
    • JVM调优技术
  • 容器化核心技术

    • Dockek核心技术
  • 分布式存储

    • Mycat核心技术
  • 数据库核心技术

    • MySQL基础篇
  • 服务器核心技术

    • Nginx核心技术
  • 渗透核心技术

    • 渗透实战技术
  • 底层技术
  • 源码分析
  • 基础案例
  • 实战案例
  • 面试
  • 系统架构
  • Spring6核心技术
  • 分布式事务

    • 分布式事务系列视频
  • SpringBoot
  • SpringCloudAlibaba
  • 🔥AI大模型项目

    • 一站式AI智能平台
    • AI智能客服系统
    • AI智能问答系统
    • 实战AI大模型
  • 中间件项目

    • 手写高性能Redis组件
    • 手写高性能脱敏组件
    • 手写线程池项目
    • 手写高性能SQL引擎
    • 手写高性能Polaris网关
    • 手写高性能RPC项目
  • 高并发项目

    • 分布式IM即时通讯系统(新)
    • 分布式Seckill秒杀系统
    • 实战高并发设计模式
  • 微服务项目

    • 简易电商脚手架项目
  • 手撕源码

    • 手撕Spring6源码
🌍知识星球
  • 总览

    • 《书籍汇总》
  • 出版图书

    • 《深入理解高并发编程:核心原理与案例实战》
    • 《深入理解高并发编程:JDK核心技术》
    • 《深入高平行開發:深度原理&專案實戰》
    • 《深入理解分布式事务:原理与实战》
    • 《MySQL技术大全:开发、优化与运维实战》
    • 《海量数据处理与大数据技术实战》
  • 电子书籍

    • 《实战高并发设计模式》
    • 《深入理解高并发编程(第2版)》
    • 《深入理解高并发编程(第1版)》
    • 《从零开始手写RPC框架(基础篇)》
    • 《SpringCloud Alibaba实战》
    • 《冰河的渗透实战笔记》
    • 《MySQL核心知识手册》
    • 《Spring IOC核心技术》
  • 关于自己
  • 关于学习
  • 关于职场
B站
Github
  • 开篇:专栏介绍

    • 开篇:分布式IM即时通讯系统正式启动
    • 面试:可以写到简历上的分布式IM即时通讯系统
  • 第01部分:需求设计

    • 第01节:为何要学习分布式IM即时通讯系统
    • 第02节:分布式IM即时通讯系统的目标与挑战
    • 第03节:分布式IM即时通讯系统功能需求与流程梳理
    • 第04节:分布式IM即时通讯系统技术流程梳理
  • 第02部分:总体架构设计

    • 第01节:分布式IM即时通讯系统总体方案目标与架构设计
    • 第02节:分布式IM即时通讯系统数据模型设计
  • 第03部分:环境搭建

    • 第01节:分布式IM即时通讯系统研发环境搭建
    • 第02节:分布式IM即时通讯系统项目工程搭建
    • 第03节:分布式IM即时通讯系统Maven私服搭建
    • 第04节:搭建并优化多节点Minio分布式文件系统
  • 第04部分:通用模型设计

    • 第01节:分布式IM即时通讯系统通用模型设计
    • 第02节:分布式IM即时通讯系统通用缓存设计
    • 第03节:混合型缓存通用模型设计与实现
    • 第04节:分布式锁通用代码设计与实现
    • 第05节:MQ消息发送通用代码设计与实现
    • 第06节:多系统共用模型与工具推送到Maven私服
    • 第07节:分布式ID生成器的设计与实现
  • 第05部分:即时通讯后端服务

    • 第01节:通用代码设计与实现
    • 第02节:自定义编解码器的设计与实现
    • 第03节:通用ChannelHanler的设计与实现
    • 第04节:登录处理器的设计与实现
    • 第05节:心跳处理器的设计与实现
    • 第06节:单聊处理器的设计与实现
    • 第07节:群聊处理器的设计与实现
  • 第06部分:即时通讯SDK

    • 第01节:发送单聊消息的流程设计与实现
    • 第02节:发送群聊消息的流程设计与实现
    • 第03节:在线状态的统一设计与实现
    • 第04节:消息监听与广播机制的设计与实现
    • 第05节:接收消息发送结果的流程设计与实现
  • 第07部分:大后端平台-通用模型

    • 第01节:领域层对象模型的设计与实现
    • 第02节:用户Session与全局异常捕获机制
    • 第03节:缓存参数过滤器的设计与实现
    • 第04节:通用拦截器规则链的设计和实现
    • 第05节:XSS漏洞校验规则的设计和实现
    • 第06节:滑动窗口IP校验规则的设计和实现
    • 第07节:资源访问校验规则的设计和实现
    • 第08节:账号安全校验规则的设计和实现
  • 第08部分:大后端平台-用户微服务

    • 第01节:用户注册与登录授权的流程设计与实现
    • 第02节:JWT Token刷新机制的流程设计与实现
    • 第03节:用户微服务常规功能的设计与实现
    • 第04节:用户微服务整合即时通讯SDK
    • 第05节:领域事件的发送与接收设计和实现
    • 第06节:用户微服务整合Dubbo的流程设计与实现
  • 第09部分:大后端平台-好友微服务

    • 第01节:好友服务常规功能的设计和实现
    • 第02节:好友微服务整合Dubbo的流程设计与实现
    • 第03节:领域事件的发送与接收设计和实现
    • 第04节:异步更新好友微服务数据的设计和实现
  • 第10部分:大后端平台-群组微服务

    • 第01节:群组微服务常规功能的设计和实现
    • 第02节:群组微服务整合Dubbo的流程设计和实现
    • 第03节:业务事件的发送与接收设计和实现
    • 第04节:异步更新群组微服务数据的设计和实现
  • 第11部分:大后端平台-消息微服务

    • 第01节:单聊消息的发送流程设计和实现
    • 第02节:群聊消息的发送流程设计和实现
    • 第03节:单聊消息的拉取流程设计和实现
    • 第04节:群聊消息的拉取流程设计和实现
    • 第05节:单聊消息的已读流程设计和实现
    • 第06节:群聊消息的已读流程设计和实现
    • 第07节:单聊消息的撤回流程设计和实现
    • 第08节:群聊消息的撤回流程设计和实现
    • 第09节:图片、文件和语音消息的设计和实现
    • 第10节:消息监听回调流程的设计和实现
  • 第12部分:大后端平台-视频通话

    • 第01节:视频通话呼叫发起流程设计和实现
    • 第02节:视频通话呼叫取消流程设计和实现
    • 第03节:视频通话呼叫失败流程设计和实现
    • 第04节:视频通话呼叫接受流程设计和实现
    • 第05节:视频通话呼叫拒绝流程设计和实现
    • 第06节:视频通话呼叫挂断流程设计和实现
    • 第07节:视频通话同步会话状态流程设计和实现
  • 第13部分:大前端UI-基础架构

    • 第01节:Node.js基础环境搭建
    • 第02节:通用基础功能设计与研发
  • 第14部分:大前端UI-用户模块

    • 第01节:注册与登录流程的设计与实现
    • 第02节:页面主体框架设计与实现
  • 第15部分:大前端UI-好友模块

    • 第01节:好友主体页面的设计与实现
    • 第02节:好友关联单聊页面的设计与实现
  • 第16部分:大前端UI-群组模块

    • 第01节:群组主体页面的设计与实现
    • 第02节:创建群组流程的设计与实现
    • 第03节:修改群组流程的设计与实现
    • 第04节:邀请好友进群流程的设计与实现
    • 第05节:群主踢人出群流程的设计与实现
    • 第06节:成员退出群组流程的设计与实现
    • 第07节:群主解散群组流程的设计与实现
    • 第08节:发送群聊消息流程的设计与实现
  • 第17部分:大前端UI-消息模块

    • 第01节:发送文字消息流程的设计与实现
    • 第02节:发送表情消息流程的设计与实现
    • 第03节:发送图片消息流程的设计与实现
    • 第04节:发送文件消息流程的设计与实现
    • 第05节:发送语音消息流程的设计与实现
    • 第06节:双向视频通话流程的设计与实现
    • 第07节:查看历史消息流程的设计与实现
    • 第08节:消息已读未读流程的设计与实现
    • 第09节:实时消息删除流程的设计与实现
    • 第10节:实时消息撤回流程的设计与实现
    • 第11节:群聊@功能流程的设计与实现
  • 第18部分:OpenAI大模型接入服务

    • 第01节:OpenAI总体对接流程架构设计
    • 第02节:OpenAI接入服务总体框架设计
    • 第03节:OpenAI领域模型与核心接口设计
    • 第04节:OpenAI大模型对接设计和实现
    • 第05节:单聊消息对接OpenAI大模型
    • 第06节:群聊消息对接OpenAI大模型
    • 第07节:扩展实现对接多种OpenAI大模型
  • 第19部分:专栏总结

    • 总结:分布式IM即时通讯系统整体专栏总结

《分布式IM系统》通用模型-第03节:混合型缓存通用模型设计与实现

作者:冰河
星球:http://m6z.cn/6aeFbs
博客:https://binghe.site
文章汇总:https://binghe.site/md/all/all.html
源码获取地址:https://t.zsxq.com/0dhvFs5oR
课程视频:https://t.zsxq.com/15BdD7wvS

沉淀,成长,突破,帮助他人,成就自我。

  • 本节难度:★★☆☆☆
  • 本节重点:设计并实现本地缓存+分布式缓存的混合型缓存通用模型,将缓存的数据模型抽象成通用的类模型,在模型设计上,就需要尽最大程度避免缓存击穿、缓存穿透和缓存雪崩的问题,并且要掌握在实际项目中设计缓存数据模型的方法和注意事项。
  • 课程视频:https://t.zsxq.com/15BdD7wvS

大家好,我是冰河~~

分布式IM即时通讯系统要想抗住高并发、大流量的冲击,除了前置的流量管控、流量清洗和限流等措施外,就需要使用缓存,但是使用缓存又会带来一定的风险,比如:缓存击穿、缓存穿透和缓存雪崩的问题。一旦缓存出现问题,在高并发、大流量场景下,会为分布式IM即时通讯系统带来致命的影响。至于缓存中到底要存储什么样的数据,什么样的数据结构,这些都是需要经过精心设计的。

一、前言

使用缓存不仅仅可以提升分布式IM即时通讯系统的并发和性能,还能为分布式IM即时通讯系统抗住进入系统内部的大部分流量,但是如果对缓存使用不当,极有可能会出现缓存击穿、缓存穿透和缓存雪崩的问题,轻则系统宕机不可用,重则会为公司带来巨大的经济损失。所以,在缓存设计上,一定要避免缓存出现严重的问题而导致的一系列事故。

二、本节诉求

像分布式IM即时通讯系统这种承载高并发、大流量的系统,只是简单的将数据存储到缓存是远远不够的,缓存的数据模型是需要精心设计的,一方面缓存的数据结构要非常方便后续的业务开发和维护扩展,另一方面也需要尽最大程度避免缓存击穿、缓存穿透和缓存雪崩的问题。

所以,本章,我们就单独对分布式IM即时通讯系统中混合型缓存通用模型进行设计与实现。

三、缓存模型设计

为了有效避免缓存击穿、缓存穿透和缓存雪崩的问题,一个最基本的缓存设计就是从数据库中查询数据时,无论数据库中是否存在数据,都会将查询的结果信息缓存起来,并设置一定的有效期。后续请求访问缓存时,如果缓存中存在指定Key时,哪怕对应的Value值为空,也会将数据返回给客户端,客户端根据具体情况进行处理。

在缓存模型的业务设计上,如果从数据库中未查询到对应的数据,直接将null或者空字符串等保存到缓存中,一方面是在代码的可读性上比较差,不便于后期的维护,另一方面对于混合型缓存的实现上缺乏有效的逻辑处理能力。所以,对于缓存的数据模型需要进行精心的设计。

本节,会从缓存通用模型结构设计与缓存通用模型编码实现两个方面对缓存模型进行设计。

3.1 缓存通用模型结构设计

缓存通用模型的类结构设计如图3-1所示。


可以看到,在通用缓存模型类结构设计中,包含两个类,分别是IMCommonCache类和IMBusinessCache类。其中IMBusinessCache是一个泛型类,并且会继承IMCommonCache类。

  • exist:boolean类型,表示缓存中是否存在具体的业务数据,true:缓存中存在具体的业务数据,false:缓存中不存在具体的业务数据。
  • version:Long类型,表示缓存数据的版本号,当接收到客户端请求数据时的版本号大于缓存中的版本号,则说明当前缓存中的数据失效,需要从数据库查询数据后更新到缓存,否则直接返回缓存中的数据。
  • retryLater:boolean类型,表示是否需要重试,当服务出现异常时,将此值设置为true,告诉客户端需要刷新缓存,客户端接收到需要刷新缓存时,静默处理,稍后重新请求接口即可。
  • data:泛型T类型,表示具体的业务数据,当从数据库中查询出的数据为空时,此字段为空,exist字段为false,表示缓存中不存在具体的业务数据。

这种设计能够实现无论数据库中是否存在要查询的数据,缓存中都会存在通用模型结构的数据,能够有效避免缓存穿透的问题,再加上缓存数据失效时,在程序上能够保证同时只能有一个线程去更新缓存中的数据,这就有效避免了缓存击穿和缓存雪崩的问题。

3.2 缓存通用模型编码实现

查看完整文章

加入冰河技术知识星球,解锁完整技术文章、小册、视频与完整代码

在 GitHub 上编辑此页
上次更新: 2026/4/29 16:18
Contributors: binghe001
Prev
第02节:分布式IM即时通讯系统通用缓存设计
Next
第04节:分布式锁通用代码设计与实现
阅读全文
×

扫码或搜索:冰河技术
发送:290992
即可立即永久解锁本站全部文章

星球会员
跳转链接