MySQL · 特性分析 ·MySQL 5.7新特性系列四
继上三期月报：MySQL 5.7新特性之一介绍了一些新特性及兼容性问题MySQL 5.7新特性之二介绍了临时表的优化和实现MySQL 5.7新特性之三介绍了undo表空间的truncate功能这期我们一起来学习下MySQL 5.7的并行复制。1....
View ArticlePgSQL · PostgreSQL 逻辑流复制技术的秘密
自 PostgreSQL 9.4 ，终于支持了逻辑流复制。本篇文章为大家带来这部分的技术细节的分析。1. 背景PostgreSQL 9.4 对逻辑流复制的支持具有相当的意义。我们可以用该技术完成很多企业级的需求。PostgreSQL 的大版本升级，由于可以使用流复制做增量数据同步，所以停机服务时间会非常短。PostgreSQL...
View ArticleClik here to view.
MySQL · 特性分析 · MyRocks简介
RocksDB是facebook基于LevelDB实现的，目前为facebook内部大量业务提供服务。经过facebook大量工作，将RocksDB作为MySQL的一个存储引擎移植到MySQL，称之为MyRocks。经过两年的发展，MyRocks已经比较成熟（RC阶段），现已进入了facebook...
View ArticleClik here to view.
GPDB · 特性分析· Greenplum 备份架构
Greenplum是分布式数据库，这为备份带来了一些困难。其本身提供了一个工具是gpcrondump，对其二进制备份工具gp_dump做了一些封装，而gp_dump则是对pg_dump做了封装，在每个节点上执行pg_dump完成数据的备份。在其每个节点的行为上，与PG类似，但其分布式的架构，则有值得了解的地方。备份方法GP备份的工具gpcrondump是一个Python脚本，是对gp_dump的一个...
View ArticleClik here to view.
SQLServer · 最佳实践 · RDS for SQLServer 2012权限限制提升与改善
背景SQL Server 作为一种强大的关系型数据库，能够提供所有场景的应用。在绝大多数云计算公司中，都提供了SQL Server作为服务的云数据库服务，譬如阿里云。但既然是服务，那么服务就需要可管理，可控制，因此，在云计算初期，都对云数据库服务进行了严格的权限控制，好处就是可控可管理，但给用户会带来一些限制，某些限制实际上是可以再细粒度管控。因此，今天我们就要介绍一下阿里云数据库SQL...
View ArticleTokuDB · 引擎特性 · REPLACE 语句优化
背景MySQL 在标准 SQL 外，会扩展一些好用的语法，本文关注的 REPLACE 和 INSERT IGNORE 就属于这类。这 2 个语法都是对 INSERT 的扩展，语义是向表中插入数据，不同之处在于遇到 PK 或者 UK 冲突时的处理：INSERT：报 duplicate key 的错误，数据不插入；REPLACE：删除掉老冲突记录，插入新的记录；INSERT...
View ArticleClik here to view.
PgSQL · 实战经验 · 旋转门压缩算法在PostgreSQL中的实现
背景在物联网、监控、传感器、金融等应用领域，数据在时间维度上流式的产生，而且数据量非常庞大。例如我们经常看到的性能监控视图，就是很多点在时间维度上描绘的曲线。又比如金融行业的走势数据等等。...
View ArticleMySQL · 源码分析 · Query Cache并发处理
Query cache 的并发处理上期介绍了Query cache的一个基本工作原理，请参考MySQL · 源码分析 · Query Cache内部剖析。本期将对Query cache的并发处理过程进行一个剖析。当前Query cache是所有session共享的，也就是说同一条SELECT语句 + database + flag（包含影响执行结果的所有环境变量）构成的Key如果已经存储在Query...
View ArticlePgSQL · 源码分析· pg_dump分析
PostgreSQL本身提供了逻辑导出工具pg_dumpall和pg_dump，其中pg_dumpall导出所有的数据库，pg_dump导出单个数据库，两个工具的用法和参数不再详细介绍，本文从代码层面上对此过程进行分析。概括地说，逻辑导出要干的事情就是连接对应数据库，读出各个数据库对象的定义和数据，此外还包括comment、服务器配置和权限控制等等，这些数据库对象定义的SQL语句会被写入到对应的du...
View ArticleClik here to view.
AliSQL · 社区动态 · 关于开源之后评论的评论
背景AliSQL在云栖大会宣布开源，并有幸请到MySQL之父、MariaDB创始人Monty一起见证。我们在将消息公布到社区之后，也同时关注社区的反馈。以下是对于评论的评论。handshake protocol声音：以阿里的个性就是大多数开源了 push 到 github...
View ArticleClik here to view.
MySQL · 社区见闻 · Oracle Open World 2016 见闻
高能预警：这不是一篇纯技术月报，这不是一篇纯技术月报！（不善拍照，外景图片有从朋友的FB和Twitter中截取）申请主题今年的OOW依然在旧金山召开，有了去年参会的经验，感觉以我们的工作水平，放在国际上也是可以出去讲一番的，因此在收到 Oracle ACE 主题邀请之后，就果断把我们去年最大的成果之一——《Double Sync...
View ArticleClik here to view.
MySQL · 社区见闻 · Percona Live 2016 见闻
前言今年的 Percona Live 时间很凑巧，正好夹在 Oracle Open World 和 MariaDB 开发者大会之间，而且跟 MariaDB 开发者大会一样在阿姆斯特丹，因此蹭了 MariaDB Foundation 的免费票去参加了 Percona Live。从纽约飞阿姆斯特丹时，从芬兰赫尔辛基中转呆了一天，承蒙祖师爷 Monty...
View ArticleClik here to view.
MySQL · 社区见闻 · MariaDB Developer Meeting 2016
高能预警：这还不是一篇纯技术的月报……前言Percona Live 之后紧接着第二天就是 MariaDB Developer Meeting，会议地点就在Booking的办公大楼这次会议的主题就是讨论 10.3 的规划，以及 10.2 的 GA 计划，以及还需要加入 10.2 的功能。先哭一会别人家的办公楼，这风景。MariaDB Foundation...
View ArticleClik here to view.
Clik here to view.
MySQL · 源码分析 · 无法revoke单库或单表权限
现象对于拥有全局权限的用户，无法revoke单库或单表的权限，示例如下mysql> grant select on *.* to 'xx1'@'localhost'; Query OK, 0 rows affected (0.00 sec) mysql> revoke select * test.* from 'xx1'@'localhost'; ERROR 1141 (42000):...
View ArticleClik here to view.
PgSQL · 代码浅析 · PostgreSQL 可靠性分析
背景PostgreSQL 可靠性与大多数关系数据库一样，都是通过REDO来保障的。群里有位童鞋问了一个问题，为什么PostgreSQL的REDO块大小默认是8K的，不是512字节。这位童鞋提问的理由是，大多数的块设备扇区大小是512字节的，512字节可以保证原子写，而如果REDO的块大于512字节，可能会出现partial write。那么PostgreSQL的redo(wal)...
View ArticleClik here to view.
PgSQL · 代码浅析 · PostgreSQL 9.6 聚合OP复用的优化分析
背景聚合操作指将分组的数据聚合为一个结果输出。聚合通常用在统计应用中，例如统计分组的最大值，最小值，记录数，平均值，方差，截距，相关性。聚合也可能被用于文本分析或者图像分析等，例如最佳相似度，行列变换，聚合为数组或JSON，图像堆叠等。因此聚合通常需要启动值，行的处理，以及结果的格式转换3个过程。PostgreSQL的聚合也包含了以上三个过程，创建一个聚合函数的语法如下：CREATE...
View ArticleMySQL · 特性分析 · 直方图的实现与分析
直方图（Histogram）是 RDBMS 中提供的一种基础的统计信息，最典型的用途是估计查询谓词的选择率，以便选择优化的查询执行计划。常见的直方图种类有：等宽直方图、等高直方图、V-优化的直方图，MaxDiff 直方图等等。RDBMS 产品最初使用的直方图非常简单（只有一个桶），后来逐步演化到等宽直方图、等高直方图等。MariaDB 10.0.2 就已在 server...
View ArticleClik here to view.
SQL Server · 最佳实践 · 参数嗅探问题
摘要MSSQL Server参数嗅探既是一个涉及知识面非常广泛，又是一个比较难于解决的课题，即使对于数据库老手也是一个比较头痛的问题。这篇文章从参数嗅探是什么，如何产生，表象是什么，会带来哪些问题，如何解决这五个方面来探讨参数嗅探的来龙去脉，期望能够将SQL Server参数嗅探问题理清楚，道明白。什么参数嗅探当SQL...
View Article