MySQL · 参数故事 · innodb_additional_mem_pool_size
参数简介innodb_additional_mem_pool_size 是 InnoDB 用来保存数据字典信息和其他内部数据结构的内存池的大小，单位是 byte，参数默认值为8M。数据库中的表数量越多，参数值应该越大，如果 InnoDB 用完了内存池中的内存，就会从操作系统中分配内存，同时在 error log 中打入报警信息。innodb_use_sys_malloc 配置为 ON...
View ArticleGPDB · 特性分析 · Segment事务一致性与异常处理
事务一致性这篇月报Primary和Mirror同步机制讲了Primary和Mirror之间各种数据和文件的同步过程。这些数据和文件的同步，看似彼此独立。那么如何保证某个时间点Mirror的所有数据是一致的，即任何时间点发生HA切换，Mirror都能达到一致性状态并对外提供服务？正如我们前面提到的，这主要靠同步的顺序来保证：AO表的同步是个强同步的过程，数据在更新发生时即同步到Mirror，Prima...
View ArticleClik here to view.
GPDB · 特性分析 · Segment 修复指南
问题背景GPDB是中央控制节点式的架构，在一个 GreenPlum 集群中，有一个 Master 节点和多个 Segment 节点。Master 是中央控制节点，Segment 是数据存放节点。所有的Segment节点平等，均由Master管理。架构如下图：GreenPlum架构图当GP Master出现问题的时候，可以通过外部的HA监控模块发现并激活备库，Standby Master...
View ArticleMySQL · 捉虫动态 · 并行复制外键约束问题二
背景并行复制可以大大提高备库的 binlog 应用速度，内核月报也多次对并行复制特性进行介绍，感兴趣的朋友可以回顾下：5.6 并行复制实现分析、5.6 并行复制恢复实现和 5.6并行复制事件分发机制。在早期的内核月报，有一篇 并行复制外建约束问题，介绍阿里在 5.5 版本中自己实现并行复制时遇到的外键约束问题，本文接着前作继续介绍并行复制外键约束问题，这次场景不一样，并且目前官方 5.6...
View ArticlePgSQL · 性能优化 · 如何潇洒的处理每天上百TB的数据增量
背景本文主要介绍PostgreSQL 在中高端x86服务器上的数据插入速度（目标表包含一个时间字段的索引），帮助企业用户了解PostgreSQL在这类场景下的性能表现。这类场景常见于运营商网关数据和金融行业数据，产生量大，并且要求快速插入大数据库中持久化保存。另外,...
View ArticleClik here to view.
Memcached · 最佳实践 · 热点 Key 问题解决方案
背景在分布式K-V存储系统中，对某个key进行读写时，会根据该key的hash计算出一台固定的server来存取该K-V，如果集群不发生服务器数量变化，那么这一映射关系就不会变化。云数据库 memcached 就是这样一种K-V缓存系统。在实际应用中的某些高峰时段，有的云数据库 memcached...
View ArticleClik here to view.
MongoDB · 最佳实践 · 短连接Auth性能优化
问题通常我们使用MongoDB的时候，客户端（driver）和MongoDB之间都是使用长连接，但是在某些场景下、某些driver仍然只能使用短连接进行连接，比如PHP。就在我们阿里云数据库MongoDB版商业化后没多久，我们就遇到了一个用户短连接过多导致的性能问题。这个问题的症状是MongoD的CPU使用率居高不下，16个核都跑满了，影响到了用户的正常使用。排查首先想到的当然是看看有没有很多慢查询...
View ArticleClik here to view.
MySQL · 最佳实践 · RDS 只读实例延迟分析
前言只读实例是目前 RDS 用户实现数据读写分离的一种常见架构，用户只需要将业务中的读请求分担到只读节点上，就可以缓解主库查询压力，同时也可以把一些 OLAP 的分析查询放到另外的只读节点上，减小复杂统计查询对主库的冲击，RDS只读节点架构图如下：由于RDS只读节点采用原生的MySQL...
View ArticleClik here to view.
MySQL · TokuDB · TokuDB索引结构--Fractal Tree
背景介绍TokuDB采用的是Fractal Tree作为索引的数据组织方式。它是一种面向磁盘I/O优化的数据结构，采用“分期偿还”策略减少在数据插入过程中从root节点到leaf节点的搜索过程。这种搜索过程可以简称为locate_position，就是寻找要插入key在Tree中位置的过程。一般B+Tree的插入过程分为两个部分：Locate_position: 从root开始使用binary...
View ArticleMySQL · TokuDB · Savepoint漫谈
问题描述某TokuDB实例备库发生复制中断,报错信息甚是诡异： Error executing row event: "Can't lock file (errno: 22 - Invalid argument)"经过gdb...
View ArticleClik here to view.
MySQL · 特性分析 · MySQL 5.7新特性系列一
1. 背景MySQL 5.7在2015-10-21发布了GA版本，即5.7.9，目前小版本已经到了5.7.12。5.7新增了许多新的feature和优化，接下来一个系列，我们就一起来尝尝鲜。首先这次主要是预览feature的变化以及兼容性问题。后面的系列，会针对重要的feature展开来学习。2 安全相关的特性2.1 认证插件mysql.user表中的plugin更改成not...
View ArticleClik here to view.
PostgreSQL · 特性分析 · 逻辑结构和权限体系
本文旨在帮助用户理解PostgreSQL的逻辑结构和权限体系，帮助用户快速的理解和管理数据库的权限。逻辑结构最上层是实例，实例中允许创建多个数据库，每个数据库中可以创建多个schema，每个schema下面可以创建多个对象。对象包括表、物化视图、操作符、索引、视图、序列、函数、…...
View ArticleMySQL · 特性分析 · innodb buffer pool相关特性
背景innodb buffer pool做为innodb最重要的缓存，其缓存命中率的高低会直接影响数据库的性能。因此在数据库发生变更，比如重启、主备切换实例迁移等等，innodb buffer poll 需要一段时间预热，期间数据库的性能会受到明显影响。另外mysql 5.7以前innodb buffer pool缓存大小修改不是动态的，重启才能生效。因此innodb buffer...
View ArticlePG&GP · 特性分析 · 外部数据导入接口实现分析
背景社区 PostgreSQL 和 GreenPlum 都提供了读写外部数据源的方法，它们都提供了一套编程接口，用户可以在这上面做二次开发，建立外部数据源和数据库间的数据通道。本文介绍 PostgreSQL 和 GreenPlum 这部分编程接口的实现和编程方法。结合 RDS 开发的 oss_ext 接口。展示外部数据源接口的能力。PostgreSQL FDWFDW 的全称是...
View ArticleClik here to view.
SQLServer · 最佳实践 · 透明数据加密在SQLServer的应用
背景作为云计算的服务提供者，我们在向用户提供优秀的服务能力时会遇到一个合规的问题。在数据库领域，数据是极其敏感和珍贵的，保护好数据，就如保护好企业的生命线。因此，需要采取一些预防措施来帮助保护数据库的安全，如设计一个安全系统、加密机密资产以及在数据库服务器的周围构建防火墙。但是，如果遇到物理介质被盗的情况，恶意破坏方只需还原或附加数据库即可浏览数据，或者遭遇拖库情况。一种解决方案是加密数据库中的敏感...
View ArticleClik here to view.
MySQL · TokuDB · 日志子系统和崩溃恢复过程
TokuDB日志子系统MySQL重启后自动加载InnoDB和其他的动态plugin，包括TokuDB。每一plugin在注册的时候指定init和deinit回调函数。TokuDB的init/deinit函数分别是tokudb_init_func和tokudb_done_func。...
View ArticleClik here to view.
MongoDB · 特性分析 · Sharded cluster架构原理
为什么需要Sharded cluster？MongoDB目前3大核心优势：『灵活模式』+ 『高可用性』 + 『可扩展性』，通过json文档来实现灵活模式，通过复制集来保证高可用，通过Sharded cluster来保证可扩展性。当MongoDB复制集遇到下面的业务场景时，你就需要考虑使用Sharded...
View ArticlePostgreSQL · 特性分析 · 统计信息计算方法
一条SQL在PG中的执行过程是：----> SQL输入 ----> 解析SQL，获取解析后的语法树 ----> 分析、重写语法树，获取查询树 ----> 根据重写、分析后的查询树计算各路径代价，从而选择一条成本最优的执行树 ----> 根据执行树进行执行 ----> 获取结果并返回...
View ArticleMySQL · 捉虫动态 · left-join多表导致crash
有一天小编胡乱写SQL, left join了30张表, 结果导致了Mysql server gone away…我们来看看crash堆栈<signal handler called> base_list_iterator::next update_ref_and_keys make_join_statistics JOIN::optimize mysql_execute_select...
View Article
