冰河技术
导读
♻学习路线
  • 面试必问系列

    • 面试必问
  • 架构与模式

    • Java极简设计模式
    • 实战高并发设计模式
  • Java核心技术

    • Java8新特性
    • IOC核心技术
    • JVM调优技术
  • 容器化核心技术

    • Dockek核心技术
  • 分布式存储

    • Mycat核心技术
  • 数据库核心技术

    • MySQL基础篇
  • 服务器核心技术

    • Nginx核心技术
  • 渗透核心技术

    • 渗透实战技术
  • 底层技术
  • 源码分析
  • 基础案例
  • 实战案例
  • 面试
  • 系统架构
  • Spring6核心技术
  • 分布式事务

    • 分布式事务系列视频
  • SpringBoot
  • SpringCloudAlibaba
  • 🔥AI大模型项目

    • 一站式AI智能平台
    • AI智能客服系统
    • AI智能问答系统
    • 实战AI大模型
  • 中间件项目

    • 手写高性能Redis组件
    • 手写高性能脱敏组件
    • 手写线程池项目
    • 手写高性能SQL引擎
    • 手写高性能Polaris网关
    • 手写高性能RPC项目
  • 高并发项目

    • 分布式IM即时通讯系统(新)
    • 分布式Seckill秒杀系统
    • 实战高并发设计模式
  • 微服务项目

    • 简易电商脚手架项目
  • 手撕源码

    • 手撕Spring6源码
🌍知识星球
  • 总览

    • 《书籍汇总》
  • 出版图书

    • 《深入理解高并发编程:核心原理与案例实战》
    • 《深入理解高并发编程:JDK核心技术》
    • 《深入高平行開發:深度原理&專案實戰》
    • 《深入理解分布式事务:原理与实战》
    • 《MySQL技术大全:开发、优化与运维实战》
    • 《海量数据处理与大数据技术实战》
  • 电子书籍

    • 《实战高并发设计模式》
    • 《深入理解高并发编程(第2版)》
    • 《深入理解高并发编程(第1版)》
    • 《从零开始手写RPC框架(基础篇)》
    • 《SpringCloud Alibaba实战》
    • 《冰河的渗透实战笔记》
    • 《MySQL核心知识手册》
    • 《Spring IOC核心技术》
  • 关于自己
  • 关于学习
  • 关于职场
B站
Github
导读
♻学习路线
  • 面试必问系列

    • 面试必问
  • 架构与模式

    • Java极简设计模式
    • 实战高并发设计模式
  • Java核心技术

    • Java8新特性
    • IOC核心技术
    • JVM调优技术
  • 容器化核心技术

    • Dockek核心技术
  • 分布式存储

    • Mycat核心技术
  • 数据库核心技术

    • MySQL基础篇
  • 服务器核心技术

    • Nginx核心技术
  • 渗透核心技术

    • 渗透实战技术
  • 底层技术
  • 源码分析
  • 基础案例
  • 实战案例
  • 面试
  • 系统架构
  • Spring6核心技术
  • 分布式事务

    • 分布式事务系列视频
  • SpringBoot
  • SpringCloudAlibaba
  • 🔥AI大模型项目

    • 一站式AI智能平台
    • AI智能客服系统
    • AI智能问答系统
    • 实战AI大模型
  • 中间件项目

    • 手写高性能Redis组件
    • 手写高性能脱敏组件
    • 手写线程池项目
    • 手写高性能SQL引擎
    • 手写高性能Polaris网关
    • 手写高性能RPC项目
  • 高并发项目

    • 分布式IM即时通讯系统(新)
    • 分布式Seckill秒杀系统
    • 实战高并发设计模式
  • 微服务项目

    • 简易电商脚手架项目
  • 手撕源码

    • 手撕Spring6源码
🌍知识星球
  • 总览

    • 《书籍汇总》
  • 出版图书

    • 《深入理解高并发编程:核心原理与案例实战》
    • 《深入理解高并发编程:JDK核心技术》
    • 《深入高平行開發:深度原理&專案實戰》
    • 《深入理解分布式事务:原理与实战》
    • 《MySQL技术大全:开发、优化与运维实战》
    • 《海量数据处理与大数据技术实战》
  • 电子书籍

    • 《实战高并发设计模式》
    • 《深入理解高并发编程(第2版)》
    • 《深入理解高并发编程(第1版)》
    • 《从零开始手写RPC框架(基础篇)》
    • 《SpringCloud Alibaba实战》
    • 《冰河的渗透实战笔记》
    • 《MySQL核心知识手册》
    • 《Spring IOC核心技术》
  • 关于自己
  • 关于学习
  • 关于职场
B站
Github
  • 专栏介绍

    • 开篇:我要手把手教你手搓一个高性能SQL引擎项目
  • 第01部分:需求设计

    • 第01节:为何要学习高性能SQL引擎项目
    • 第02节:高性能SQL引擎项目的目标与挑战
    • 第03节:高性能SQL引擎功能需求与流程梳理
  • 第02部分:总体架构设计

    • 第01节:高性能SQL引擎总体方案目标与架构设计
    • 第02节:高性能SQL引擎的通用化落地方案
  • 第03部分:通用模型设计

    • 第01节:高性能SQL引擎通用数据模板设计与实现
    • 第02节:高性能SQL引擎通用数据模型设计与实现
  • 第04部分:SQL引擎设计

    • 第01节:高性能SQL引擎SQL构建器设计与实现
    • 第02节:高性能SQL引擎驱动引擎设计与实现
  • 第05部分:SQL引擎实战

    • 第01节:基于通用模型动态生成SQL
    • 第02节:基于通用模板动态生成SQL
  • 第06部分:性能测试

    • 第01节:高性能SQL引擎基准性能测试
    • 第02节:高性能SQL引擎压力性能测试
  • 第07部分:专栏总结

    • 总结:高性能SQL引擎整体专栏总结

《高性能SQL引擎》总体架构-第01节:高性能SQL引擎总体方案目标与架构设计

作者:冰河
星球:http://m6z.cn/6aeFbs
博客:https://binghe.site
文章汇总:https://binghe.site/md/all/all.html
源码获取地址:https://t.zsxq.com/0dhvFs5oR

沉淀,成长,突破,帮助他人,成就自我。

  • 本节难度:★☆☆☆☆
  • 本节重点:梳理高性能SQL引擎的总体方案目标、技术选型与架构设计,从总体上理解高性能SQL引擎的方案目标、技术选型和架构设计,并从全局视角了解高性能SQL引擎的设计和架构思想,并能够将其灵活应用到自身实际项目中。

大家好,我是冰河~~

在前面的文章中,我们梳理了高性能SQL引擎的需求和流程,并且对高性能SQL引擎的技术流程进行了梳理和总结。目前我们已经大致了解了高性能SQL引擎的执行流程。接下来,就可以对高性能SQL引擎制定方案目标和进行总体架构设计了。

一、前言

相信很多有一定工作经验的小伙伴都有这样的体会,接到新的任务后,如果不做全面的需求分析、系统分析和架构设计,一上来就开始干代码,十有八九会在开发中途发现自己写的代码功能不太符合实际需求,或者突然发现某个功能有更好的实现方式,只是自己一开始没完全搞懂需求,根本没想到会有更好的实现方式。

更多的时候,想将原有的代码推倒重来,按照更优的方案来完成相应的需求任务开发,但是,此时发现时间根本来不及了,只能在原有的代码上苦苦支撑。最终,原本设想的功能完善、支持高并发、高性能、高可用和高可扩展的代码,却变成了一坨坨“屎山”。

二、本节诉求

梳理高性能SQL引擎的总体方案目标、技术选型与架构设计,从总体上理解高性能SQL引擎的方案目标、技术选型和架构设计,并从全局视角了解高性能SQL引擎的设计和架构思想,并能够将其灵活应用到自身实际项目中。

三、方案目标

与其他项目一样,高性能SQL引擎在进行技术选型与总体架构设计之前,同样需要明确一个事项:就是高性能SQL引擎无论采用哪种方案,采用哪种架构设计都需要明确这种方案的业务目标、技术目标和架构目标,并在研发过程中不断评估高性能SQL引擎的总体性能表现,发现系统瓶颈并不断进行优化。

总体上,我们自主设计和研发的高性能SQL引擎,需要满足如下方案目标。

  • 业务目标:满足通过JSON模板或者直接创建对象组合动态生成SQL的需求。
  • 技术目标:在8c16g,千兆带宽机器下,QPS达百万级别,性能瓶颈主要为机器网卡,高性能SQL引擎自动生成SQL要达到非常高的性能。
  • 架构目标:高并发、高性能、高可用、可扩展、可监控、可预警、可伸缩。

四、技术选型

这里,再次跟大家明确下技术选型。这次带着大家一起手写的高性能SQL引擎项目去除了各种复杂的场景校验逻辑,在代码结构上非常精简,核心功能就是通过JSON模板或者直接创建对象组合动态生成SQL,不再依赖各种实体模型来接收和传递数据。代码精简,意味着性能会非常高,同时,也意味着使用到的技术也会非常简单。主要的技术选型如下:

  • 基础工具:Hutool
  • 单元测试:Junit
  • 基准性能测试:JMH
  • 压力测试:JMeter

没错,这次的高性能SQL引擎项目所使用到的技术就是这么简单。

五、总体架构设计

高性能SQL引擎的总体架构设计非常简单,主要如图1-1所示。


可以看到,高性能SQL引擎的总体架构设计由下到上依次为抽象模型、SQL构建器和驱动引擎三部分。

  • 抽象模型:高性能SQL引擎的底层核心模型,高性能SQl引擎会将传递的JSON模板参数,解析成对应的抽象模型,进而生成对应的SQL语句。抽象模型主要包含:表模型、分区与聚合模型、关联模型、条件模型、分页模型和排序模型。
  • SQL构建器:高性能SQL引擎的模型到SQL的核心构建器,模型到SQL的转换主要由SQL构建器完成。
  • 驱动引擎:高性能SQL引擎统一对外封装的驱动引擎程序,其他服务或者程序只需要传入JSON模板或者模型数据即可驱动SQL语句的生成,并获取到对应的结果数据。

六、内部执行流程

查看完整文章

加入冰河技术知识星球,解锁完整技术文章、小册、视频与完整代码

在 GitHub 上编辑此页
上次更新: 2026/4/29 16:18
Contributors: binghe001
Next
第02节:高性能SQL引擎的通用化落地方案
阅读全文
×

扫码或搜索:冰河技术
发送:290992
即可立即永久解锁本站全部文章

星球会员
跳转链接