2. 数据库
  3. 544
  4. starsliao

MySQL Replication 同步复制技术介绍

MySQL

一、MySQL复制概述

MySQL支持单向、异步复制，复制过程中一个服务器充当主服务器，而一个或多个其它服务器充当从服务器。MySQL复制基于主服务器在二进制日志中跟踪所有对数据库的更改(更新、删除等等)。因此，要进行复制，必须在主服务器上启用二进制日志。每个从服务器从主服务器接收主服务器上已经记录到其二进制日志的保存的更新。当一个从服务器连接主服务器时，它通知主服务器定位到从服务器在日志中读取的最后一次成功更新的位置。从服务器接收从那时起发生的任何更新，并在本机上执行相同的更新。然后封锁并等待主服务器通知新的更新。从服务器执行备份不会干扰主服务器，在备份过程中主服务器可以继续处理更新

二、复制实现细节

MySQL使用3个线程来执行复制功能，其中两个线程(Sql线程和IO线程)在从服务器，另外一个线程(IO线程)在主服务器。当发出START SLAVE时，从服务器创建一个I/O线程，以连接主服务器并让它发送记录在其二进制日志中的语句。主服务器创建一个线程将二进制日志中的内容发送到从服务器。该线程可以即为主服务器上SHOW PROCESSLIST的输出中的Binlog Dump线程。从服务器I/O线程读取主服务器Binlog Dump线程发送的内容并将该数据拷贝到从服务器数据目录中的本地文件中，即中继日志。第3个线程是SQL线程，由从服务器创建，用于读取中继日志并执行日志中包含的更新。在从服务器上，读取和执行更新语句被分成两个独立的任务。当从服务器启动时，其I/O线程可以很快地从主服务器索取所有二进制日志内容，即使SQL线程执行更新的远远滞后。 1. 复制线程状态

通过show slave statusG和show master status可以查看复制线程状态。常见的线程状态有：
(1)主服务器Binlog Dump线程
Has sent all binlog to slave; waiting for binlog to be updated
线程已经从二进制日志读取所有主要的更新并已经发送到了从服务器。线程现在正空闲，等待由主服务器上新的更新导致的出现在二进制日志中的新事件。
(2)从服务器I/O线程状态
Waiting for master to send event
线程已经连接上主服务器，正等待二进制日志事件到达。如果主服务器正空闲，会持续较长的时间。如果等待持续slave_read_timeout秒，则发生超时。此时，线程认为连接被中断并企图重新连接。
(3)从服务器SQL线程状态
Reading event from the relay log
线程已经从中继日志读取一个事件，可以对事件进行处理了。
Has read all relay log; waiting for the slave I/O thread to update it
线程已经处理了中继日志文件中的所有事件，现在正等待I/O线程将新事件写入中继日志。
  1. 复制过程中使用的传递和状态文件
  2. 默认情况，中继日志使用hostname-relay-bin.nnnnnn形式的文件名，其中hostname是从服务器主机名，nnnnnn是序列号。中继日志与二进制日志的格式相同，并且可以用mysqlbinlog读取。
  3. 从服务器在data目录中另外创建两个小文件。这些状态文件默认名为主master.info和relay-log.info。状态文件保存在硬盘上，从服务器关闭时不会丢失。下次从服务器启动时，读取这些文件以确定它已经从主服务器读取了多少二进制日志，以及处理自己的中继日志的程度。
  4. 如果要备份从服务器的数据，还应备份这两个小文件以及中继日志文件。它们用来在恢复从服务器的数据后继续进行复制。如果丢失了中继日志但仍然有relay-log.info文件，可以通过检查该文件来确定SQL线程已经执行的主服务器中二进制日志的程度。然后可以用MasterLogFile和MasterLOGPOS选项执行CHANGE MASTER TO来告诉从服务器重新从该点读取二进制日志。

三、配置参数说明

  • server-id
  • ID值唯一的标识了复制群集中的主从服务器，因此它们必须各不相同。masterid必须为1到232–1之间的一个正整数值，slaveid值必须为2到232–1之间的一个正整数值。
  • log-bin
    • 表示打开binlog,打开该选项才可以通过I/O写到Slave的relay-log,也是可以进行replication的前提;
  • binlog-do-db
    • 表示需要记录进制日志的数据库。如果有多个数据库可用逗号分隔，或者使用多个binlog-do-db选项
  • binlog-ignore-db
  • 表示不需要记录二进制日志的数据库。如果有多个数据库可用逗号分隔，或者使用多个binlog-do-db选项
  • replicate-do-db
  • 表示需要同步的数据库，如果有多个数据库可用逗号分隔，或者使用多个replicate-do-db选项
  • replicate-ignore-db=mysql
  • 表示不需要同步的数据库，如果有多个数据库可用逗号分隔，或者使用多个replicate-ignore-db=mysql选项
  • log-slave-updates
  • 配置从库上的更新操作是否写入二进制文件，如果这台从库，还要做其他从库的主库，那么就需要打这个参数，以便从库的从库能够进行日志同步
  • slave-skip-errors
  • 在复制过程，由于各种原因导致binlog中的sql出错，默认情况下，从库会停止复制，要用户介入。可以设置Slave-skip-errors来定义错误号，如果复制过程中遇到的错误号是定义的错误号，便可以跳过。如果从库是用来做备份，设置这个参数会存在数据不一致，不要使用。如果是分担主库的查询压力，可以考虑。
  • sync_binlog=1 or N
    • syncbinlog的默认值是0，这种模式下，MySQL不会同步到磁盘中去。这样的话，MySQL依赖操作系统来刷新二进制日志binary log，就像操作系统刷其他文件的机制一样。因此如果操作系统或机器(不仅仅是MySQL服务器)崩溃，有可能binlog中最后的语句丢失了。要想防止这种情况，你可以使用syncbinlog全局变量，使binlog在每N次binlog写入后与硬盘同步。当sync_binlog变量设置为1是最安全的，因为在crash崩溃的情况下，你的二进制日志binary log只有可能丢失最多一个语句或者一个事务。但是，这也是最慢的一种方式（除非磁盘有使用带蓄电池后备电源的缓存cache，使得同步到磁盘的操作非常快）。
  • 即使syncbinlog设置为1,出现崩溃时，也有可能表内容和binlog内容之间存在不一致性。如果使用InnoDB表，MySQL服务器处理COMMIT语句，它将整个事务写入binlog并将事务提交到InnoDB中。如果在两次操作之间出现崩溃，重启时，事务被InnoDB回滚，但仍然存在binlog中。可以用–innodb-safe-binlog选项来增加InnoDB表内容和binlog之间的一致性。(注释：在MySQL 5.1中不需要–innodb-safe-binlog；由于引入了XA事务支持，该选项作废了），该选项可以提供更大程度的安全，使每个事务的 binlog(syncbinlog =1)和(默认情况为真)InnoDB日志与硬盘同步，该选项的效果是崩溃后重启时，在滚回事务后，MySQL服务器从binlog剪切回滚的 InnoDB事务。这样可以确保binlog反馈InnoDB表的确切数据等，并使从服务器保持与主服务器保持同步(不接收回滚的语句)。
  • autoincrementoffset和autoincrementincrement
  • autoincrementincrement和autoincrementoffset用于主－主服务器(master-to-master)复制，并可以用来控制AUTO_INCREMENT列的操作。两个变量均可以设置为全局或局部变量，并且假定每个值都可以为1到65,535之间的整数值。将其中一个变量设置为0会使该变量为1。
  • 这两个变量影响AUTOINCREMENT列的方式：autoincrementincrement控制列中的值的增量值,autoincrementoffset确定AUTOINCREMENT列值的起点。
  • 如果autoincrementoffset的值大于autoincrementincrement的值，则autoincrementoffset的值被忽略。例如：表内已有一些数据，就会用现在已有的最大的自增值做为初始值。

四、二进制日志清除

主同步服务器产生的二进制日志会占据大量的磁盘空间，应定期删除过期的bin-log。
A、通过PURGE MASTER LOGS删除
如果您有一个在用的从属服务器，该服务器当前正在读取您正在试图删除的日志之一，则本语句不会起作用，而是会失败，并伴随一个错误。不过，如果从属服务器是停止的，并且您碰巧清理了其想要读取的日志之一，则从属服务器启动后不能复制。当从属服务器正在复制时，本语句可以安全运行。您不需要停止它们。
要清理日志，需按照以下步骤：
1、在每个从属服务器上，使用SHOW SLAVE STATUS来检查它正在读取哪个日志。
2、使用SHOW MASTER LOGS获得主服务器上的一系列日志。
3、在所有的从属服务器中判定最早的日志。这个是目标日志。如果所有的从属服务器是更新的，这是清单上的最后一个日志。
4、制作您将要删除的所有日志的备份。(建议备份)
5、清理所有的日志，但是不包括目标日志。
PURGE 语法
PURGE {MASTER | BINARY} LOGS TO ‘log_name’
PURGE {MASTER | BINARY} LOGS BEFORE ‘date’
用于删除列于在指定的日志或日期之前的日志索引中的所有二进制日志。这些日志也会从记录在日志索引文件中的清单中被删除，这样被给定的日志成为第一个。
BEFORE变量的date自变量可以为’YYYY-MM-DD hh:mm:ss’格式。MASTER和BINARY是同义词。
例如：

#删除binlog.000002之前的而不包含binlog.000002     mysql> PURGE MASTER LOGS TO 'binlog.000002';     #删除2011-05-28 1:35:00之前的  mysql> PURGE MASTER LOGS BEFORE '2011-05-28 1:35:00';     #清除3天前的binlog  mysql> PURGE MASTER LOGS BEFORE DATE_SUB(NOW( ), INTERVAL 3 DAY);
B、设置expire-logs-days参数

缺省expire-logs-days为30天。这里设为7天，可根据自己情况调整。

[mysqld]    expire-logs-days = 7

五、用于控制主、从服务器的SQL语句

A、用于控制主服务器的SQL语句
PURGE MASTER LOGS
用于删除列于在指定的日志或日期之前的日志索引中的所有二进制日志。这些日志也会从记录在日志索引文件中的清单中被删除，这样被给定的日志成为第一个。
RESET MASTER
可以删除列于索引文件中的所有二进制日志，把二进制日志索引文件重新设置为空，并创建一个新的二进制日志文件。
SET SQL_LOG_BIN
如果客户端使用一个有SUPER权限的账户连接，则可以禁用或启用当前连接的二进制日志记录。如果客户端没有此权限，则语句被拒绝，并伴随有错误。
SHOW BINLOG EVENTS
用于在二进制日志中显示事件。如果您不指定’log_name’，则显示第一个二进制日志。
SHOW MASTER LOGS
用于列出服务器中的二进制日志文件。
SHOW MASTER STATUS

用于提供主服务器二进制日志文件的状态信息。
SHOW SLAVE HOSTS
用于显示当前使用主服务器注册的复制从属服务器的清单。
B、用于控制从服务器的SQL语句
CHANGE MASTER TO

可以更改从属服务器用于与主服务器进行连接和通讯的参数。
LOAD DATA FROM MASTER

用于对主服务器进行快照，并拷贝到从属服务器上。
LOAD TABLE tbl_name FROM MASTER
用于把表的拷贝从主服务器转移到从属服务器。
MASTER_POS_WAIT()
这实际上是一个函数，而不是一个语句。它被用于确认，从属服务器已读取并执行了到达主服务器二进制日志的给定位置。
RESET SLAVE
用于让从属服务器忘记其在主服务器的二进制日志中的复制位置。
SET GLOBAL SQL_SLAVE_SKIP_COUNTER
从主服务器中跳过后面的n个事件。要复原由语句导致的复制中止，这是有用的。
SHOW SLAVE STATUS
用于提供有关从属服务器线程的关键参数的信息。
START SLAVE
用于启动从属服务器线程
STOP SLAVE
用于中止从属服务器线程
以上内容摘自MySQL官方手册，具体用法详见：http://dev.mysql.com/doc/refman/5.1/zh/sql-syntax.html#reset-master

六、主从复制如何提高可靠性

  • 主从单向复制，从服务器只是实时的保存了主服务器的一个副本。当主服务器发生故障时，可以切换到从服务器继续做查询，但不能更新。
  • 如果采用双向复制，即两台mysql服务器即作为主服务器，又作为从服务器。那么两者都可以执行更新操作并能实现负载均衡，当一方出现故障时，另一方不受影响。但是，除非能保证任何更新操作顺序都是安全的，否则双向复制会导致失败。
  • 为了更好的提高可靠性和可用性，需要当主服务器不可用时，令从服务器成为Master。原来的主服务器设定为Slave，并从新的Master上同步更新。现在已经有了一个这样开源解决方案[MySQL Master-Master Replication Manager]，后面我会在写一篇关MySQL MMM架构的方案，敬请期待！