PostgreSQL · 新增特性 · PG 13 新特性
PostgreSQL 13 新特性背景PostgreSQL 全球开发组于2020年9月24日宣布PostgreSQL 13正式发布，作为世界上最先进的开源数据库，PostgresSQL 13是目前的最新版本。 阿里云是中国地区第一家支持PostgreSQL 13的云厂商，在 RDS 和 专属集群...
View ArticlePolarDB · 特性分析 · Explain Format Tree 详解
前言Mysql从8.0.18引入了Explain Format Tree的功能，PolarDB-2.0也支持了该功能。 本篇，我们来详细介绍下Explain Format Tree功能，以及Parallel Query对该功能的支持和变化。Mysql Explain Format Tree 执行计划Explain Format Tree依赖的是mysql新引入的iterator...
View ArticleMySQL · 源码阅读 · InnoDB Export/Import Tablespace解析
背景InnoDB中支持Transportable Tablespace功能。也就是表空间可以从一个实例迁移到另一个实例。相比mysqldump来进行导入导出而言，速度更快，而且使用也很便捷。本篇文章将从内核实现的角度来分析表空间export/import，重点是import的原理，参照8.0代码。导出表空间表空间的导出（export）。在源实例中，执行FLUSH TABLES t FOR...
View ArticleClik here to view.
MySQL · 源码解析 · MySQL 8.0.23 Hypergraph Join Optimizer代码详解
MySQL JOIN简介MySQL本身没有常规意义上的执行计划，一般情况就是通过JOIN和QEP_TAB这两个结构组成。QEP_TAB 的全称是Query Execution Plan...
View ArticleClik here to view.
MySQL · 性能优化 · InnoDB 事务 sharded 锁系统优化
背景latch 数据库中的 latch 和我们通常代码编程中保证并发多线程操作操作临界资源的锁意义一样，通过 latch 的中文翻译“闩”就可以理解，这是为了维护一段临界区域.lock 而 lock 则是数据库 MySQL 中在事务使用的”锁”, 锁定的对象是表或者行.数据库内核月报 InnoDB 事务锁系统简介对 InnoDB 的事务锁系统: record lock 和 table lock...
View ArticleClik here to view.
DataBase · 社区动态 · 数据库中的表达式
表达式模块作为在数据库系统的查询处理中几乎任何地方都在使用的模块，其实现的方式会极大影响数据库执行query的速度，如PostgreSQL中不同的表达式计算方式将会给TPC-H...
View ArticleMySQL · 源码分析 · Group by优化逻辑代码分析
由于MySQL对于group by/windows/distinct/order by的实现，逻辑非常复杂混乱，完全没有清晰的代码边界，理解起来很困难，因此在对其进行梳理后，整理成这篇文档做个记录，也希望对希望了解这部分的同学有所帮助，如有理解不对的地方，请多多指正，代码基于8.0.18Group by对于group...
View ArticleClik here to view.
MySQL · 源码阅读 · X-plugin的传输协议
本文主要通过阅读MySQL8.0源码来介绍X plugin如何通过X protocol与客户端建立连接背景MySQL5.7发布时自带了一个MySQL X插件，启用插件后，可以通过X protocol提供一个类似于MongoDB的服务。这个插件是默认加载的，show plugins可以看到。mysql>SHOW PLUGINS;...
View ArticleMySQL · 源码阅读 · MySQL8.0 innodb锁相关
背景innodb里面的mutex常见的实现是PolicyMutex<TTASEventMutex，信号量底层使用是os_event_t代码分析os_event_tstruct os_event { void set(); int64_t reset(); void wait_low(); void broadcast(); private: bool m_set; int64_t...
View ArticleClik here to view.
PolarDB · 优化改进 · 使用窗口聚合函数来将子查询解关联
简介关联子查询是大多数现代关系型数据库都支持的一类SQL，这种形式的SQL具有很强的语义表达能力，能够让用户在子查询中直接引用到外层查询中的列，来计算子查询的结果。关联子查询在决策支持系统和在线分析处理的场景中被广泛使用，例如在决策支持基准TPC-H的22个查询中，有1/3的查询都包含关联子查询。因此能够高效地执行关联子查询是衡量一个数据库是否先进的标准。子查询解关联是数据库对关联子查询进行优化的一...
View ArticleMySQL · 引擎特性 · InnoDB Faster truncate/drop table space
问题在InnoDB 现有的版本里面, 如果一个table space 被truncated 或者 drop 的时候, 比如有一个连接创建了临时表, 连接断开以后, 对应的临时表都需要进行drop 操作.InnoDB 是需要将该tablespace 对应的所有的page 从LRU/FLUSH list 中删除, 如果没有这个操作, 新的table 的table spaceid 如果重复的话,...
View ArticleClik here to view.
MySQL · 源码阅读 · Decimal 的实现方法
背景数字运算在数据库中是很常见的需求, 例如计算数量、重量、价格等, 为了满足各种需求, 数据库系统通常支持精准的数字类型和近似的数字类型. 精准的数字类型包含 int, decimal 等, 这些类型在计算过程中小数点位置是固定的, 其结果和行为比较可预测. 当涉及钱时, 这个问题尤其重要, 因此部分数据库实现了专门的 money 类型. 近似的数字类型包含 float, double 等,...
View ArticleClik here to view.
PolarDB · 最佳实践 · 并行查询优化器的应用实践
PolarDB MySQL8.0重磅推出了并行查询引擎，充分利用硬件多核多CPU的优势，基于COST自动选择并行查询计划，显著提升了查询性能，查询耗时呈>指数级下降，体现了自研PolarDB数据库极高的性价比。 下面我们以TPCH的query-10为例，详细解析并行查询引擎对复杂查询的优化能力，为用户指引一条并行执行的性能高速公路。 Q10的SQL如下所示:SELECT c_custkey,...
View ArticleClik here to view.
PolarDB · 引擎特性 · 物理复制热点页优化
PolarDB采用物理复制的方式来实现朱从节点间的数据同步，区别于Mysql官方的binlog复制，PolarDB在主从节点间通过传输Redo Log，并在从节点上对Redo...
View ArticleClik here to view.
DataBase · 引擎特性 · OLAP/HTAP列式存储引擎概述
本文简要从存储结构、索引结构和数据更新方式等几个方面介绍当前比较热门的OLAT/HATP列式存储引擎，包括TiFlash、AnalyticDB、ClickHouse和SqlServer。TiFlash存储结构和索引结构TiFlash的列式存储引擎Delta Tree参考了B+ Tree和LSM Tree的设计思想。Delta...
View ArticleMySQL · 源码阅读 · 白话Online DDL
发展历程MySQL Online DDL 功能从 5.6 版本开始正式引入，发展到现在的 8.0 版本，经历了多次的调整和完善。本文主要就 Online DDL 的发展过程，以及各版本的区别进行总结。其实早在 MySQL 5.5 版本中就加入了 INPLACE DDL 方式，但是因为实现的问题，依然会阻塞 INSERT、UPDATE、DELETE 操作，这也是 MySQL...
View ArticleClik here to view.
MySQL · 内核特性 · Automatic connection failover
简介从MySQL 8.0.22开始，官方对主备复制链路的容错性做了进一步的增强，支持了一个称为“Automatic Asynchronous Replication connection failover”的自动连接容错功能。该功能在两个版本中分两个阶段进行了实现，具体来说：在MySQL...
View ArticleClik here to view.
MongoDB · 内核特性 · 一致性模型设计与实现
本文源自阅读了 MongoDB 于 VLDB 19 上发表的 Tunable Consistency in MongoDB论文之后，在内部所做的分享（分享 PPT 见文末）。现在把分享的内容整理成此文，并且补充了部分在之前的分享中略过的细节，以及在分享中没有提及的 MongoDB Causal Consistency（也出现在另外一篇 SIGMOD’19 Paper），希望能够帮助大家对...
View ArticleClik here to view.
MySQL · 资源管理 · PFS内存管理分析
引言Performance schema(PFS)是mysql提供的强大的性能监控诊断工具。 PFS将采集到的性能数据存储在performance_schema存储引擎中，全部保存在内存。打开pfs会带来一定的额外开销，为了尽可能小的影响业务，PFS的性能和内存管理也显得非常重要了。MySQL · 最佳实践 · 今天你并行了吗？—洞察PolarDB 8.0之并行查询在PolarDB...
View ArticleClik here to view.
MySQL · HTAP · 分析型执行引擎
众所周知，MySQL是为了在线事务处理(OLTP)设计的开源数据库，一直以来弱于对于分析型业务场景的支持。如果有对MySQL数据库中的数据进行分析的业务场景，一般都是需要借助于第三方的ETL工具将数据导入到外部AP型数据库或者专门的数据仓库，然后将分析业务运行其上。这一处理方式对于现有业务系统引入了额外的复杂度和开销：数据库之间数据传输的网络开销以及额外的数据存储开销数据库之间数据同步处理逻辑的复杂...
View Article