Clik here to view.
MySQL · 引擎特性 · InnoDB 表空间加密
背景简介InnoDB 表空间加密是在引擎内部数据页级别的加密手段，在数据页写入文件系统时加密，从文件读到内存中时解密，目前广泛使用的是 YaSSL/OpenSSL 提供的 AES加密算法，加密前后数据页大小不变，因此也称为透明加密。表空间加密相对于文件系统加密更加灵活，用户可以控制加密重要的表，防止被拖库导致的数据丢失。MySQL 官方在 5.7.11中发布了表空间加密功能，Aliyun RDS...
View ArticleClik here to view.
MongoDB · myrocks · mongorocks 引擎原理解析
mongorocks是基于著名的开源KV数据库RocksDB实现的一个MongoDB存储引擎，借助rocksdb的优秀特性，mongorocks能很好的支持一些高并发随机写入、读取的应用场景。MongoDB 与 mongorocks 的关系mongodb...
View ArticleMySQL · MyRocks · TTL特性介绍
概述MyRocks TTL(Time To Live) 特性允许用户指定表数据的自动过期时间，表数据根据指定的时间在compact过程中进行清理。MyRocks TTL 简单用法如下，在comment中通过ttl_duration指定过期时间，ttl_col指定过期时间列CREATE TABLE t1 ( a bigint(20) NOT NULL, b int NOT NULL, ts...
View ArticleClik here to view.
MySQL · 源码分析 · 协议模块浅析
这里调用栈主要基于MySQL5.7, 因为重构了protocol模块的代码, 可能与5.6的函数调用有所差异.TL;DR (Not that long ..)我们之前跟踪过三次握手的调用栈, 这里跳过认证, 主要考察验证完成后, server如何监听client发起的操作, 和如何返回一系列响应报文....
View ArticleClik here to view.
MSSQL · 最佳实践 · 如何监控备份还原进度
摘要本期月报是SQL Server备份还原专题分享系列的第六期，打算分享给大家如何监控SQL Server备份还原进度。场景引入由于SQL Server备份还原操作是重I/O读写操作，尤其是当数据库或数据库备份文件比较大的到时候。那么，我们就有强烈的需求去监控备份还原的过程，时时刻刻把握备份还原的进度，以获取备份还原操作完成时间的心理预期以及对系统的影响。本期月报分享如何监控SQL...
View ArticleMySQL · 特性分析 · MySQL的预编译功能
背景目前大部分关系型数据库执行sql的过程如下对SQL语句进行词法和语义解析，生成抽象语法树优化语法树，生成执行计划按照执行计划执行，并返回结果绝大部分的常用SQL语句都可以被分解成静态部分和动态部分。静态部分主要包括sql语句的关键字（如DML,DDL等）以及数据库的对象及其相关信息（如表名，视图名，字段名等）。动态部分主要是由数据里的存储的数据构成。一个稳定运行的数据库中执行的所有sql语句，如...
View ArticleClik here to view.
MySQL · 特性分析 · (deleted) 临时空间
1. 简介在运行 MySQL 的服务器上，偶尔出现 du 和 df 统计空间大小差别很大的情况，原因之一是 MySQL...
View ArticleMySQL · RocksDB · WAL(WriteAheadLog)介绍
概述在RocksDB中每一次数据的更新都会涉及到两个结构，一个是内存中的memtable(后续会刷新到磁盘成为SST),第二个是WAL(WriteAheadLog)。 本篇文章主要就是来介绍WAL.WAL主要的功能是当RocksDB异常退出后，能够恢复出错前的内存中(memtable)数据,因此RocksDB默认是每次用户写都会刷新数据到WAL....
View ArticleClik here to view.
PgSQL · 应用案例 · 相似文本识别与去重
背景在云栖社区的问答区，有一位网友提到有一个问题：表里相似数据太多，想删除相似度高的数据，有什么办法能实现吗？ 例如： 银屑病怎么治？ 银屑病怎么治疗？ 银屑病怎么治疗好？ 银屑病怎么能治疗好？ 等等 解这个问题的思路1. 首先如何判断内容的相似度，PostgreSQL中提供了中文分词，pg_trgm(将字符串切成多个不重复的token,计算两个字符串的相似度)...
View ArticlePOLARDB · 最佳实践 · POLARDB不得不知道的秘密
前言POLARDB作为阿里云下一代关系型云数据库，自去年9月份公测以来，收到了不少客户的重点关注，今年5月份商业化后，许多大客户开始陆续迁移业务到POLARDB上，但是由于POLARDB的很多默认行为与RDS...
View ArticleMySQL · 引擎特性 · Cost Model,直方图及优化器开销优化
MySQL当前已经发布到MySQL8.0版本，在新的版本中，可以看到MySQL之前被人诟病的优化器部分做了很多的改动，由于笔者之前的工作环境是5.6，最近切换到最新的8.0版本，本文涵盖了一些本人感兴趣的和优化器相关的部分，主要包括MySQL5.7的cost model以及MySQL8.0的直方图功能。本文基于当前最新的MySQL8.0.12版本，主要是讲下cost model 和...
View ArticleClik here to view.
MSSQL · 最佳实践 · 使用混合密钥实现列加密
摘要在SQL Server安全系列专题的上两期月报分享中，我们分别分享了：如何使用对称密钥实现SQL Server列加密技术和使用非对称密钥加密方式实现SQL Server列加密。本期月报我们分享使用混合密钥加密方式实现SQL...
View ArticleClik here to view.
MongoDB · 引擎特性 · 复制集原理
复制集简介Mongodb复制集由一组Mongod实例（进程）组成，包含一个Primary节点和多个Secondary节点，Mongodb...
View ArticleRedis · lazyfree · 大key删除的福音
背景redis重度使用患者应该都遇到过使用 DEL 命令删除体积较大的键， 又或者在使用 FLUSHDB 和 FLUSHALL 删除包含大量键的数据库时，造成redis阻塞的情况；另外redis在清理过期数据和淘汰内存超限的数据时，如果碰巧撞到了大体积的键也会造成服务器阻塞。为了解决以上问题， redis 4.0 引入了lazyfree的机制，它可以将删除键或数据库的操作放在后台线程里执行，...
View ArticleClik here to view.
Database · 理论基础 · 数据库事务隔离发展历史
事务隔离是数据库系统设计中根本的组成部分，本文主要从标准层面来讨论隔离级别的发展历史，首先明确隔离级别划分的目标；之后概述其否定之否定的发展历程；进而引出...
View ArticleClik here to view.
Database · 理论基础 · 关于一致性协议和分布式锁
关于一致性协议, 分布式锁以及如何使用分布式锁最近看antirez 和 Martin 关于redlock 的分布式锁是否安全的问题的争吵,...
View ArticleMySQL · RocksDB · Level Compact 分析
综述在RocksDB中，将MemTable刷新到磁盘之后,将会有很多sstable,而这些sstable则是可能包含了相同的key的不同时间的值，这样子就会导致两个问题:浪费磁盘空间读取内容将会非常慢.而compact就是用来解决上面两个问题的，简单来说compact就是读取几个sstable然后合并为一个(或者多个)sstable....
View ArticleClik here to view.
Clik here to view.
PgSQL · 应用案例 · 相似人群圈选，人群扩选，向量相似 使用实践
背景PostgreSQL 相似插件非常多，插件的功能以及用法如下：《PostgreSQL 相似搜索插件介绍大汇总 (cube,rum,pg_trgm,smlar,imgsmlr,pg_similarity) (rum,gin,gist)》相似人群分析在精准营销，推荐系统中的需求很多。人的属性可以使用向量来表达，每个值代表一个属性的权重值，通过向量相似，可以得到一群相似的人群。例如create...
View Article