Clik here to view.
MySQL · 数据恢复 · undrop-for-innodb
简介undrop-for-innodb 是针对 innodb 的一套数据恢复工具，可以从文件级别恢复诸如：DROP/TRUNCATE table, 删除表中某些记录，innodb 文件被删除，文件系统损坏，磁盘 corruption 等几种情况。本文简单介绍下使用方法和原理浅析。准备git clone https://github.com/twindb/undrop-for-innodb.git...
View ArticleClik here to view.
Clik here to view.
MSSQL · 最佳实践 · SQL Server三种常见备份
摘要本期月报是SQL Server数据库备份技术系列文章的开篇，介绍三种常见的SQL Server备份方法的工作方式、使用T-SQL语句和使用SSMS IDE创建备份集三个层面，介绍SQL Server的三种常见备份的工作原理和使用方法。三种常见的备份包括：数据库完全备份（Full Backup）数据库日志备份（Transaction Log...
View ArticleClik here to view.
MySQL · 最佳实践 · 什么时候该升级内存规格
前言在平时的工作中，会碰到用户想升级规格的case，有一些其实是没有必要的，这些通过优化设计或者改写SQL语句，或者加加索引可以达到不升级的效果，而有一些确实是需要升级规格的，比如今天讲的case。追根溯源查看表结构和索引通过CloudDBA的SQL统计功能，发现SQL比较简单，也有索引，所以排除是这两方面设计的问题。查看实例性能数据innodb_buffer_pool命中率还不到99%，命中率不高...
View ArticleClik here to view.
MySQL · 源码分析 · InnoDB LRU List刷脏改进之路
之前的一篇内核月报MySQL · 引擎特性 · InnoDB Buffer Pool中对InnoDB Buffer pool的整体进行了详细的介绍。文章已经提到了LRU List以及刷脏的工作原理。本篇文章着重从MySQL 5.7源码层面对LRU List刷脏的工作原理，以及Percona针对MySQL LRU...
View ArticleMySQL · 特性分析 · MySQL 5.7 外部XA Replication实现及缺陷分析
MySQL 5.7 外部XA Replication实现及缺陷分析MySQL...
View ArticleClik here to view.
PgSQL · 最佳实践 · 双十一数据运营平台订单Feed数据洪流实时分析方案
摘要2017年的双十一又一次刷新了记录，交易创建峰值32.5万笔/秒、支付峰值25.6万笔/秒。而这样的交易和支付等记录，都会形成实时订单Feed数据流，汇入数据运营平台的主动服务系统中去。数据运营平台的主动服务，根据这些合并后的数据，实时的进行分析，进行实时的舆情展示，实时的找出需要主动服务的对象等，实现一个智能化的服务运营平台。通过阿里云RDS PostgreSQL和HybridDB for...
View ArticleClik here to view.
MySQL · 引擎特性 · TokuDB hot-index机制
所谓hot-index就是指在构建索引的过程中不会阻塞查询数据，也不会阻塞修改数据（insert/update/delete)。在TokuDB的实现中只有使用“create index“方式创建索引的情况下才能使用hot-index；如果使用“alter table add index”是会阻塞更新操作的。TokuDB handler的ha_tokudb::store_lock判断是create...
View ArticleMySQL · 最佳实践 · 分区表基本类型
MySQL分区表概述随着MySQL越来越流行，Mysql里面的保存的数据也越来越大。在日常的工作中，我们经常遇到一张表里面保存了上亿甚至过十亿的记录。这些表里面保存了大量的历史记录。对于这些历史数据的清理是一个非常头疼事情，由于所有的数据都一个普通的表里。所以只能是启用一个或多个带where条件的delete语句去删除（一般where条件是时间）。这对数据库的造成了很大压力。即使我们把这些删除了，但...
View ArticleClik here to view.
PgSQL · 应用案例 · 流式计算与异步消息在阿里实时订单监测中的应用
背景在很多业务系统中，为了定位问题、运营需要、分析需要或者其他需求，会在业务中设置埋点，记录用户的行为在业务系统中产生的日志，也叫FEED日志。比如订单系统、在业务系统中环环相扣，从购物车、下单、付款、发货，收货（还有纠纷、退款等等），一笔订单通常会产生若干相关联的记录。每个环节产生的属性可能是不一样的，有可能有新的属性产生，也有可能变更已有的属性值。为了便于分析，通常有必要将订单在整个过程中产生的...
View ArticleClik here to view.
MySQL · 数据恢复 · undrop-for-innodb
简介undrop-for-innodb 是针对 innodb 的一套数据恢复工具，可以从文件级别恢复诸如：DROP/TRUNCATE table, 删除表中某些记录，innodb 文件被删除，文件系统损坏，磁盘 corruption 等几种情况。本文简单介绍下使用方法和原理浅析。准备git clone https://github.com/twindb/undrop-for-innodb.git...
View ArticleClik here to view.
Clik here to view.
MSSQL · 最佳实践 · SQL Server三种常见备份
摘要本期月报是SQL Server数据库备份技术系列文章的开篇，介绍三种常见的SQL Server备份方法的工作方式、使用T-SQL语句和使用SSMS IDE创建备份集三个层面，介绍SQL Server的三种常见备份的工作原理和使用方法。三种常见的备份包括：数据库完全备份（Full Backup）数据库日志备份（Transaction Log...
View ArticleClik here to view.
MySQL · 最佳实践 · 什么时候该升级内存规格
前言在平时的工作中，会碰到用户想升级规格的case，有一些其实是没有必要的，这些通过优化设计或者改写SQL语句，或者加加索引可以达到不升级的效果，而有一些确实是需要升级规格的，比如今天讲的case。追根溯源查看表结构和索引通过CloudDBA的SQL统计功能，发现SQL比较简单，也有索引，所以排除是这两方面设计的问题。查看实例性能数据innodb_buffer_pool命中率还不到99%，命中率不高...
View ArticleClik here to view.
MySQL · 源码分析 · InnoDB LRU List刷脏改进之路
之前的一篇内核月报MySQL · 引擎特性 · InnoDB Buffer Pool中对InnoDB Buffer pool的整体进行了详细的介绍。文章已经提到了LRU List以及刷脏的工作原理。本篇文章着重从MySQL 5.7源码层面对LRU List刷脏的工作原理，以及Percona针对MySQL LRU...
View ArticleMySQL · 特性分析 · MySQL 5.7 外部XA Replication实现及缺陷分析
MySQL 5.7 外部XA Replication实现及缺陷分析MySQL...
View ArticleClik here to view.
PgSQL · 最佳实践 · 双十一数据运营平台订单Feed数据洪流实时分析方案
摘要2017年的双十一又一次刷新了记录，交易创建峰值32.5万笔/秒、支付峰值25.6万笔/秒。而这样的交易和支付等记录，都会形成实时订单Feed数据流，汇入数据运营平台的主动服务系统中去。数据运营平台的主动服务，根据这些合并后的数据，实时的进行分析，进行实时的舆情展示，实时的找出需要主动服务的对象等，实现一个智能化的服务运营平台。通过阿里云RDS PostgreSQL和HybridDB for...
View ArticleClik here to view.
MySQL · 引擎特性 · TokuDB hot-index机制
所谓hot-index就是指在构建索引的过程中不会阻塞查询数据，也不会阻塞修改数据（insert/update/delete)。在TokuDB的实现中只有使用“create index“方式创建索引的情况下才能使用hot-index；如果使用“alter table add index”是会阻塞更新操作的。TokuDB handler的ha_tokudb::store_lock判断是create...
View ArticleMySQL · 最佳实践 · 分区表基本类型
MySQL分区表概述随着MySQL越来越流行，Mysql里面的保存的数据也越来越大。在日常的工作中，我们经常遇到一张表里面保存了上亿甚至过十亿的记录。这些表里面保存了大量的历史记录。 对于这些历史数据的清理是一个非常头疼事情，由于所有的数据都一个普通的表里。所以只能是启用一个或多个带where条件的delete语句去删除（一般where条件是时间）。...
View ArticleClik here to view.
PgSQL · 应用案例 · 流式计算与异步消息在阿里实时订单监测中的应用
背景在很多业务系统中，为了定位问题、运营需要、分析需要或者其他需求，会在业务中设置埋点，记录用户的行为在业务系统中产生的日志，也叫FEED日志。比如订单系统、在业务系统中环环相扣，从购物车、下单、付款、发货，收货（还有纠纷、退款等等），一笔订单通常会产生若干相关联的记录。每个环节产生的属性可能是不一样的，有可能有新的属性产生，也有可能变更已有的属性值。为了便于分析，通常有必要将订单在整个过程中产生的...
View Article