冰河技术
导读
♻学习路线
  • 面试必问系列

    • 面试必问
  • 架构与模式

    • Java极简设计模式
    • 实战高并发设计模式
  • Java核心技术

    • Java8新特性
    • IOC核心技术
    • JVM调优技术
  • 容器化核心技术

    • Dockek核心技术
  • 分布式存储

    • Mycat核心技术
  • 数据库核心技术

    • MySQL基础篇
  • 服务器核心技术

    • Nginx核心技术
  • 渗透核心技术

    • 渗透实战技术
  • 底层技术
  • 源码分析
  • 基础案例
  • 实战案例
  • 面试
  • 系统架构
  • Spring6核心技术
  • 分布式事务

    • 分布式事务系列视频
  • SpringBoot
  • SpringCloudAlibaba
  • 🔥AI大模型项目

    • 一站式AI智能平台
    • AI智能客服系统
    • AI智能问答系统
    • 实战AI大模型
  • 中间件项目

    • 手写高性能Redis组件
    • 手写高性能脱敏组件
    • 手写线程池项目
    • 手写高性能SQL引擎
    • 手写高性能Polaris网关
    • 手写高性能RPC项目
  • 高并发项目

    • 分布式IM即时通讯系统(新)
    • 分布式Seckill秒杀系统
    • 实战高并发设计模式
  • 微服务项目

    • 简易电商脚手架项目
  • 手撕源码

    • 手撕Spring6源码
🌍知识星球
  • 总览

    • 《书籍汇总》
  • 出版图书

    • 《深入理解高并发编程:核心原理与案例实战》
    • 《深入理解高并发编程:JDK核心技术》
    • 《深入高平行開發:深度原理&專案實戰》
    • 《深入理解分布式事务:原理与实战》
    • 《MySQL技术大全:开发、优化与运维实战》
    • 《海量数据处理与大数据技术实战》
  • 电子书籍

    • 《实战高并发设计模式》
    • 《深入理解高并发编程(第2版)》
    • 《深入理解高并发编程(第1版)》
    • 《从零开始手写RPC框架(基础篇)》
    • 《SpringCloud Alibaba实战》
    • 《冰河的渗透实战笔记》
    • 《MySQL核心知识手册》
    • 《Spring IOC核心技术》
  • 关于自己
  • 关于学习
  • 关于职场
B站
Github
导读
♻学习路线
  • 面试必问系列

    • 面试必问
  • 架构与模式

    • Java极简设计模式
    • 实战高并发设计模式
  • Java核心技术

    • Java8新特性
    • IOC核心技术
    • JVM调优技术
  • 容器化核心技术

    • Dockek核心技术
  • 分布式存储

    • Mycat核心技术
  • 数据库核心技术

    • MySQL基础篇
  • 服务器核心技术

    • Nginx核心技术
  • 渗透核心技术

    • 渗透实战技术
  • 底层技术
  • 源码分析
  • 基础案例
  • 实战案例
  • 面试
  • 系统架构
  • Spring6核心技术
  • 分布式事务

    • 分布式事务系列视频
  • SpringBoot
  • SpringCloudAlibaba
  • 🔥AI大模型项目

    • 一站式AI智能平台
    • AI智能客服系统
    • AI智能问答系统
    • 实战AI大模型
  • 中间件项目

    • 手写高性能Redis组件
    • 手写高性能脱敏组件
    • 手写线程池项目
    • 手写高性能SQL引擎
    • 手写高性能Polaris网关
    • 手写高性能RPC项目
  • 高并发项目

    • 分布式IM即时通讯系统(新)
    • 分布式Seckill秒杀系统
    • 实战高并发设计模式
  • 微服务项目

    • 简易电商脚手架项目
  • 手撕源码

    • 手撕Spring6源码
🌍知识星球
  • 总览

    • 《书籍汇总》
  • 出版图书

    • 《深入理解高并发编程:核心原理与案例实战》
    • 《深入理解高并发编程:JDK核心技术》
    • 《深入高平行開發:深度原理&專案實戰》
    • 《深入理解分布式事务:原理与实战》
    • 《MySQL技术大全:开发、优化与运维实战》
    • 《海量数据处理与大数据技术实战》
  • 电子书籍

    • 《实战高并发设计模式》
    • 《深入理解高并发编程(第2版)》
    • 《深入理解高并发编程(第1版)》
    • 《从零开始手写RPC框架(基础篇)》
    • 《SpringCloud Alibaba实战》
    • 《冰河的渗透实战笔记》
    • 《MySQL核心知识手册》
    • 《Spring IOC核心技术》
  • 关于自己
  • 关于学习
  • 关于职场
B站
Github
  • 专栏开篇

    • 开篇:用讲故事的形式带你彻底吃透并发设计模式
  • 第一篇:不可变模式

    • 第01章:这特么到底是哪里不对
    • 第02章:原来问题出在这里
    • 第03章:有哪些方法能够解决并发问题
    • 第04章:可变类的线程安全问题
    • 第05章:实现不可变类解决线程安全问题
    • 第06章:实现消息聚合发送系统
    • 第07章:JDK中的等效不可变类
  • 第二篇:保护性暂挂模式

    • 第08章:线程的流转状态
    • 第09章:解决交易过程加锁的安全性问题
    • 第10章:解决交易过程性能与死锁问题
    • 第11章:使用保护性暂挂模式优化交易系统性能
    • 第12章:基于护性暂挂模式实现监控报警系统
    • 第13章:保护性暂挂模式在JDK中的应用
  • 第三篇:两阶段终止模式

    • 第14章:线程还没执行完任务怎么就退出了
    • 第15章:到底什么是两阶段终止模式
    • 第16章:实现监控报警系统线程优雅退出
    • 第17章:两阶段终止模式在线程池中的应用
  • 第四篇:承诺模式

    • 第18章:这代码性能怎么这么差
    • 第19章:到底什么是承诺模式
    • 第20章:基于承诺模式优化社区电商项目
    • 第21章:文件同步助手项目性能太差原因分析
    • 第22章:基于承诺模式优化文件同步助手项目
    • 第23章:承诺模式在FutureTask类中的应用
  • 第五篇:生产者消费者模式

    • 第24章:面向C端的个人文库系统崩了
    • 第25章:个人文库系统资源耗尽问题分析
    • 第26章:优化面向C端的个人文库系统
    • 第27章:消息堆积问题场景分析
    • 第28章:消息堆积问题解决方案
    • 第29章:生产者消费者模式在线程池中的应用
  • 第六篇:主动对象模式

    • 第30章:重大事故访问商品链接404
    • 第31章:访问商品链接404原因分析
    • 第32章:到底什么是主动对象模式
    • 第33章:基于主动对象模式优化社区电商系统
    • 第34章:主动对象模式在线程池中的应用
  • 第七篇:线程池模式

    • 第35章:服务器内存爆了
    • 第36章:无法创建新的本地线程
    • 第37章:优化社区电商系统优惠券服务
    • 第38章:线程池核心参数解析
    • 第39章:线程池执行任务源码深度解析
    • 第40章:实现手写线程池
  • 第八篇:线程特有存储模式

    • 第41章:用户信息怎么错乱了
    • 第42章:到底什么是线程特有存储
    • 第43章:解决格式化时间的线程安全问题
    • 第44章:线程特有存储模式在JDK中的应用
    • 第45章:ThreadLocal内存泄露分析
  • 第九篇:串行线程封闭模式

    • 第46章:导出报表数据错乱了
    • 第47章:到底什么是串行线程封闭模式
    • 第48章:优化报表系统导出数据功能
  • 第十篇:主仆模式

    • 第49章:统计个数据性能太差了
    • 第50章:到底什么是主仆模式
    • 第51章:基于主仆模式优化统计热点商品功能
    • 第52章:主仆模式在JDK中的应用
  • 第十一篇:流水线模式

    • 第53章:统计个交易额也能这么慢
    • 第54章:到底什么是流水线模式
    • 第55章:基于流水线模式优化实时统计交易额功能
    • 第56章:流水线模式在Netty中的应用
  • 第十二篇:半同步半异步模式

    • 第57章:支付系统性能太差了
    • 第58章:到底什么是半同步半异步模式
    • 第59章:使用半同步半异步模式优化支付系统
    • 第60章:如何处理消息堆积问题
  • 专栏总结

    • 结尾:并发设计模式整体专栏总结

《并发设计模式》第28章-生产者消费者模式-消息堆积问题解决方案

作者:冰河
星球:http://m6z.cn/6aeFbs
博客:https://binghe.site
文章汇总:https://binghe.site/md/all/all.html
源码获取地址:https://t.zsxq.com/0dhvFs5oR

沉淀,成长,突破,帮助他人,成就自我。

  • 本章难度:★★☆☆☆
  • 本章重点:了解生产者消费者模式的使用场景,重点掌握生产者消费者模式消息堆积问题的场景,掌握消息堆积问题的常见解决方案,并能够结合自身项目实际场景思考如何将生产者消费者模式灵活应用到自身实际项目中。

大家好,我是冰河~~

在基于生产者消费者模式开发实际项目时,当单位时间内,如果生产者生产数据的速度大于消费者消费数据的速度,就有可能产生消息堆积问题。消息堆积问题一旦处理不好,可能会给系统造成致命的问题。所以,我们要了解消息堆积的常见解决方案,尽最大程度避免由于消息堆积问题为系统带来的影响。

一、故事背景

上一章,我们主要分析了产生消息堆积的问题,究其根本原因,还是在单位时间内,生产者生产数据的速度大于消费者消费数据的速度,阻塞队列中的数据会慢慢积压,在一段时间内,达到一定程度,可能会产生各种问题。那如何解决消息堆积的问题呢。与分析消息堆积问题的原因一样,对于消息堆积的解决方案来说,我们也可以细分场景来说。

总体上来说,我们可以基于每天生产多消费少、业务高峰队列满、队列过小被打满三种场景来分析

二、每天生产多消费少

每天生产多消费少指的是以天为单位,每天生产者生产的数据量大于消费者消费的数据量,如图28-1所示。


假设生产者每天生产20000条数据,而消费者每天只能消费15000条数据,这种场景下,只能增加消费者的数量,让消费者并行消费阻塞队列中的数据。

三、业务高峰队列满

业务高峰队列满指的是虽然消费者每天消费的数据总量比生产者生产的数据总量多,但是在系统高峰期时,生产者生产数据的速度过快,阻塞队列被填满了待处理的任务,如图28-2所示。


假设生产者每天生产20000条数据,消费者每天可消费25000条数据,但由于生产者在业务高峰期时生产数据的速度过快,阻塞队列很容易被填满,此时,可以增加阻塞队列的大小,使其在业务高峰期时不被填满即可。

四、队列过小被填满

队列过小被打满指的是消费者每天消费的数据总量比生产者生产的数据总量多,但由于某些原因,阻塞队列的大小无法设置的足够大,业务高峰期生产者生产数据的速度过快,阻塞队列被填满。如图28-3所示。


假设生产者每天生产20000条数据,消费者每天可消费25000条数据,由于某些原因,阻塞队列最大只能设置为100,无法设置的足够大,此时可以对生产者进行限流,使得生产者在业务高峰期生产数据的速度慢一点,不至于填满阻塞队列即可。

查看全文

加入冰河技术知识星球,解锁完整技术文章与完整代码

在 GitHub 上编辑此页
上次更新: 2026/4/29 16:18
Contributors: binghe001
Prev
第27章:消息堆积问题场景分析
Next
第29章:生产者消费者模式在线程池中的应用
阅读全文
×

扫码或搜索:冰河技术
发送:290992
即可立即永久解锁本站全部文章

星球会员
跳转链接