MySQL-HA高可用

高可用性集群（High availability cluster，HAC），它是利用集群中系統 的冗余，當系統中某台機器發生損壞的時候，其他後備的機器可以迅速的接替它來啟動服務，等待故障機的維修和返回。最大限度的保證集群中服務的可用性。這類系統一般在銀行，電信服務這類對系統可靠性有高的要求的領域有著廣泛的應用。
數據庫集群的現狀
數據庫集群是將計算機集群技術引入到數據庫中來實現的，有數據庫廠商自己開發的；也有第三方的集群公司開發的；還有數據庫廠商與第三方集群公司合作開發的，各類集群實現的功能及架構也不盡相同
Oracle’s Real Application Cluster (RAC)
Microsoft SQL Cluster Server (MSCS)
IBM’s DB2 UDB High Availability Cluster(UDB)
Sybase ASE High Availability Cluster (ASE)
MySQL High Availability Cluster (MySQL CS)

Mysql主從的優缺點： Mysql的主從同步是一個成熟的架構。優點：1.在從服務器上可以執行查詢工作，降低主服務器壓力。2.在從服務器中備份，避免備份期間影響主服務器服務。3.當主服務器出現問題時，可以切換到從服務器
單線程危害： 實際上，在老版本中，MySQL 的復制實現在 Slave 端並不是由 SQL 線程和 IO 線程這兩個線程共同協作而完成的，而是由單獨的一個線程來完成所有的工作。但是 MySQL 的工程師們很快發現，這樣做存在很大的風險和性能問題，主要如下： 首先，如果通過一個單一的線程來獨立實現這個工作的話，就使復制 Master 端的，Binary Log日志，以及解析這些日志，然後再在自身執行的這個過程成為一個串行的過程，性能自然會受到較大的限制，這種架構下的 Replication 的延遲自然就比較長了。 其次，Slave 端的這個復制線程從 Master 端獲取 Binary Log 過來之後，需要接著解析這些內容，還原成 Master 端所執行的原始 Query，然後在自身執行。在這個過程中，Master端很可能又已經產生了大量的變化並生成了大量的 Binary Log 信息。如果在這個階段 Master 端的存儲系統出現了無法修復的故障，那麼在這個階段所產生的所有變更都將永遠的丟失，無法再找回來。這種潛在風險在Slave 端壓力比較大的時候尤其突出，因為如果 Slave 壓力比較大，解析日志以及應用這些日志所花費的時間自然就會更長一些，可能丟失的數據也就會更多。
雙線程： 在後期的改造中，新版本的 MySQL 為了盡量減小這個風險，並提高復制的性能，將 Slave 端的復制改為兩個線程來完成，也就是前面所提到的 SQL 線程和 IO 線程。通過這樣的改造，這樣既在很大程度上解決了性能問題，縮短了異步的延時時間，同時也減少了潛在的數據丟失量
問題：即使是換成了現在這樣兩個線程來協作處理之後，同樣也還是存在 Slave 數據延時以及數據丟失的可能性的，畢竟這個復制是異步的。只要數據的更改不是在一個事務中，這些問題都是存在的。 二、Mysql主從復制的過濾
需要在Master上設置： Binlog_Do_DB:設定哪些數據庫需要記錄Binlog Binlog_Ignore_DB:設定哪裡數據庫不需要記錄Binlog 優點是Master端的Binlog記錄所帶來的Io量減少，網絡IO減少，還會讓slave端的IO線程,SQL線程減少，從而大幅提高復制性能, *** 缺點是mysql判斷是否需要復制某個事件不是根據產生該事件的查詢所在的DB,而是根據執行查詢時刻所在的默認數據庫（也就是登錄時指定的庫名或運行"use database"中指定的DB）,只有當前默認DB和配置中所設定的DB完全吻合時IO線程才會將該事件讀取給slave的IO線程.所以,如果在默認DB和設定須要復制的DB不一樣的情況下改變了須要復制的DB中某個Table中的數據,該事件是不會被復制到Slave中去的,這樣就會造成Slave端的數據和Master的數據不一致.同樣,在默認的數據庫下更改了不須要復制的數據庫中的數據,則會被復制到slave端,當slave端並沒有該數據庫時,則會造成復制出錯而停止。
六項需要在slave上設置： Replicate_Do_DB:設定需要復制的數據庫,多個DB用逗號分隔 Replicate_Ignore_DB:設定可以忽略的數據庫. Replicate_Do_Table:設定需要復制的Table Replicate_Ignore_Table:設定可以忽略的Table Replicate_Wild_Do_Table:功能同Replicate_Do_Table,但可以帶通配符來進行設置。 Replicate_Wild_Ignore_Table:功能同Replicate_Do_Table,功能同Replicate_Ignore_Table,可以帶通配符。 優點是在slave端設置復制過濾機制,可以保證不會出現因為默認的數據庫問題而造成Slave和Master數據不一致或復制出錯的問題. 缺點是性能方面比在Master端差一些.原因在於:不管是否須要復制,事件都會被IO線程讀取到Slave端,這樣不僅增加了網絡IO量,也給Slave端的IO線程增加了Relay Log的寫入量 注：在實際的生產應用中發現，在mysql5.0以前的版本，mysql的這個過濾設置幾乎是形同虛設，不起作用：不管你在主庫或是從庫上設置了忽略某個數據庫或是表，他依然會進行同步，所以在做5.0以前版本的主從同步時，一定保持主從數據庫的一致性，主上有的庫或是表從上一定要有，否則在同步的過程會出錯。

三、Mysql主從同步的配置

主庫IP：192.168.1.2 從庫IP：192.168.1.3 添加一個用於主從同步的用戶： GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%' IDENTIFIED BY ‘1q2w3e4r’; 如果監控mysql主從的話，請加上一個super權限： GRANT SUPER, REPLICATION SLAVE ON *.* TO 'repl'@'%' IDENTIFIED BY '1q2w3e4r'; 1、主庫的配置 1.1．mysql5.0以下版本的配置 修改主庫mysql配置配置文件，在[mysqld]段添加以下內容： server-id = 1 log-bin=/home/mysql/logs/binlog/bin-log max_binlog_size = 500M binlog_cache_size = 128K binlog-do-db = adb binlog-ignore-db = mysql log-slave-updates 1.2. mysql5.0以上版本的配置 修改主庫mysql配置配置文件，在[mysqld]段添加以下內容： server-id = 1 log-bin=/home/mysql/logs/binlog/bin-log max_binlog_size = 500M binlog_cache_size = 128K binlog-do-db = adb binlog-ignore-db = mysql log-slave-updates expire_logs_day=2 binlog_format="MIXED" 1.3.各個參數的含義和相關注意項：

server-id = 1 #服務器標志號，注意在配置文件中不能出現多個這樣的標識，如果出現多個的話mysql以第一個為准，一組主從中此標識號不能重復。 log-bin=/home/mysql/logs/binlog/bin-log #開啟bin-log，並指定文件目錄和文件名前綴。 max_binlog_size = 500M #每個bin-log最大大小，當此大小等於500M時會自動生成一個新的日志文件。一條記錄不會寫在2個日志文件中，所以有時日志文件會超過此大小。 binlog_cache_size = 128K #日志緩存大小 binlog-do-db = adb #需要同步的數據庫名字，如果是多個，就以此格式在寫一行即可。 binlog-ignore-db = mysql #不需要同步的數據庫名字，如果是多個，就以此格式在寫一行即可。 log-slave-updates #當Slave從Master數據庫讀取日志時更新新寫入日志中，如果只啟動log-bin 而沒有啟動log-slave-updates則Slave只記錄針對自己數據庫操作的更新。 expire_logs_day=2 #設置bin-log日志文件保存的天數，此參數mysql5.0以下版本不支持。 binlog_format="MIXED" #設置bin-log日志文件格式為：MIXED，可以防止主鍵重復 2、從庫的配置

2.1.mysql5.1.7以前版本 修改從庫mysql配置配置文件，在[mysqld]段添加以下內容： server-id=2 master-host=192.168.1.2 master-user=repl master-password=1q2w3e4r master-port=3306 master-connect-retry=30 slave-skip-errors=1062 replicate-do-db = adb replicate-ignore-db = mysql slave-skip-errors=1007,1008,1053,1062,1213,1158,1159 master-info-file = /home/mysql/logs/master.info relay-log = /home/mysql/logs/relay-bin relay-log-index = /home/mysql/logs/relay-bin.index relay-log-info-file = /home/mysql/logs/relay-log.info 如果修改了連接主庫相關信息，重啟之前一定要刪除master.info文件，否則重啟之後由於連接信息改變從庫而不會自動連接主庫，造成同步失敗。此文件是保存連接主庫信息的。 2.2.mysql5.1.7以後版本 Mysql5.1.7版本在叢庫上面的配置很少，主要是采用了新的同步信息記錄方式，他不在支持在配置文件中配置連接主庫的相關信息，而是把連接等相關信息記錄在master-info-file = /home/mysql/logs/master.info文件中，如果入庫變了，直接在mysql命令行執行連接信息的改變即可生效，比較靈活了，而不用去重啟mysql。修改從庫mysql配置配置文件，在[mysqld]段添加以下內容： slave-skip-errors=1007,1008,1053,1062,1213,1158,1159 2.3. 各個參數的含義和相關注意項 這裡只講一下2個參數，其他全部是從庫連接主庫的信息和中間日志relay-log的設置。 master-connect-retry=30 #這個選項控制重試間隔，默認為60秒。 slave-skip-errors=1007,1008,1053,1062,1213,1158,1159 #這個是在同步過程中忽略掉的錯誤，這些錯誤不會影響數據的完整性，有事經常出現的錯誤，一般設置忽略。其中1062為主鍵重復錯誤。 3、實現主從同步

3.1.實現數據庫的統一 檢查主從數據庫的配置文件，查看是否已正確配置。首次實現 同步要備份主庫上需要同步的數據庫，然後完整的導入到從庫中。注：mysql5.0之前的版本涉及到mysql本身復制過濾存在問題，需要把所有的數據庫都備份導入到叢庫，保持。 3.2.查看並記錄主庫bin-log信息 進入主庫mysql中，執行：show master status;顯示信息如下： mysql> show master status; +-------------+----------+--------------+------------------+ | File | Position | Binlog_do_db | Binlog_ignore_db | +-------------+----------+--------------+------------------+ | bin-log.003 | 4 | adb | mysql | +-------------+----------+--------------+------------------+ 1 row in set (0.00 sec) 記錄File 和Position信息； 3.3.在從庫上執行同步語句 進入mysql，執行以下語句： slave stop; change master to master_host='192.168.1.2', master_user='repl', master_password='1q2w3e4r', master_port=3306, master_log_file='bin-log.003', master_log_pos=4; slave start; 3.4.查看主從同步狀態

重要的指標為： Slave_IO_Running: Yes Slave_SQL_Running: Yes Master_Log_File: bin-log.003 Relay_Master_Log_File: bin-log.003 Read_Master_Log_PZ喎?http://www.2cto.com/kf/ware/vc/" target="_blank" class="keylink">vczogNApFeGVjX21hc3Rlcl9sb2dfcG9zOiA0ClNlY29uZHNfQmVoaW5kX01hc3RlcjogMKOoNS4w1q7HsLDmsb7Du9PQ1eK49tGhz+6jqQrS1MnP0aHP7srHwb3BvbbU06a1xKOs1rvSqr3hufvKx9K71sK1xKOsvs3LtcP31ve0082ssr2zybmmCjMuNS7NrLK91tC1xLOjvPu1xLTtzvO6zbSmwO0KMaGiz9bP86O61Nq007/iyc/D5nNob3cgc2xhdmUgc3RhdHVzXEc7s/bP1s/CwdDH6b/2o6wKICAgICAgICAgIFNsYXZlX0lPX1J1bm5pbmc6IFllcwogICAgICAgICAgU2xhdmVfU1FMX1J1bm5pbmc6IE5vCiAgICAgICAgICBTZWNvbmRzX0JlaGluZF9NYXN0ZXI6IE5VTEwK1K3S8qO6CmEus8zQ8r/JxNzU2nNsYXZlyc+9+NDQwcvQtLLZ1/ejuwpiLtKyv8nE3MrHc2xhdmW7+sb31tjG8Lrzo6zKws7xu9i59tTss8m1xKO7CmOjrtPQv8nE3MrH1NrNrLK9uf2zzNbQ0/a1vcSz1ta07c7zo6zV4rj2u+HU2rLpv7S007/i1tDXtMysyrG/tLW9tO3O88zhyr6jrNfuydm8+7XEvs3Kx9b3vPzW2Li0MTA2MrXEtO3O86GjCr3ivva3vbeoo7oKvfjI621hc3RlcgpteXNxbCZndDsgc2hvdyBtYXN0ZXIgc3RhdHVzOwomIzQzOy0tLS0tLS0tLS0tLS0tLS0tLS0tLS0mIzQzOy0tLS0tLS0tLS0mIzQzOy0tLS0tLS0tLS0tLS0tJiM0MzstLS0tLS0tLS0tLS0tLS0tLS0mIzQzOwo=" File | Position | Binlog_Do_DB | Binlog_Ignore_DB | +----------------------+----------+--------------+------------------+ | mysql-bin.000040 | 324 |adb | mysql| +----------------------+----------+--------------+------------------+ 然後到slave服務器上執行手動同步 slave stop; change master to master_host='10.14.0.140', master_user='repl', master_password='1q2w3e4r', master_port=3306, master_log_file='mysql-bin.000040', master_log_pos=324; slave start; show slave status\G; 2、現象：從數據庫無法同步，show slave status顯示: Slave_IO_Running: No Slave_SQL_Running: Yes Seconds_Behind_Master: NULL 解決：首先查看數據庫的err日志，查看是什麼錯誤提示，看從庫連接主庫的IP、用戶、密碼等相關信息是否有誤，如果有誤，重新執行同步；如果確認無誤，重啟主數據庫。 mysql> show master status; +------------------+----------+--------------+------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | +------------------+----------+--------------+------------------+ | mysql-bin.000001 | 98 | adb| mysql| +------------------+----------+--------------+------------------+ 進入從庫mysql，執行： slave stop; change master to Master_Log_File='mysql-bin.000001',Master_Log_Pos=98; slave start; 或是這樣： stop slave; set global sql_slave_skip_counter =1; start slave; 這個現象主要是master數據庫存在問題，由於連接主庫信息錯誤、主庫數據庫掛掉如果說常見錯等原因引起的，我在實際的操作中先重啟master後重啟slave即可解決這問題，出現此問題，必須要要重啟master數據庫。

四、mysql主主和主主集群

1、mysql主主的實現 在實際的生產應用中，為了在主庫出現崩潰或是主服務器出現嚴重故障時快速的恢復業務，會直接切換到從庫上，當主庫故障處理完成後讓他直接作為叢庫來運行，此時主主就是一個不錯的選擇。

五、mysql主從的監控

在mysql主從的應用中，只要進行了合理設置，基本上不會出現問題，但是對他的監控是必不可少的，以免由於真的出現問題又不知道而造成不必要的數據損失。 1、mysql主從監控的主要思路 Mysql主從的監控，其主要是監控從庫上的一些重要參數： Slave_IO_Running: Yes Slave_SQL_Running: Yes Master_Log_File: bin-log.003 Relay_Master_Log_File: bin-log.003 Read_Master_Log_Pos: 4 Exec_master_log_pos: 4 Seconds_Behind_Master: 0（5.0之前版本沒有這個選項） 通過以上的參數可以反映出主庫和從庫狀態是否正常，從庫是否落後於主庫等。值得一提的是在mysql5.0以前的版本，Slave_IO_Running這個狀態指標不可靠，會在主庫直接掛掉的情況下不會變成NO，Seconds_Behind_Master參數也不存在。監控以上參數即可監控mysql主從。 2、mysql主從監控的實現 不管mysql是那個版本，其中的從庫上的Exec_master_log_pos、Exec_master_log_pos；主庫上的 Master上的Log_File， Position，這四個參數可以判斷出當前主從的狀態。以下是適用於mysql所有版本的主從監控shell腳本： #/bin/sh user=repl passwd=123415 master_ip="192.168.1.2" log="/data3/check_repl.log" value() { master=`/usr/local/mysql/bin/mysql -u$user -p$passwd -h$master_ip -e "show master status\G;"|egrep "File|Position"` #mysql 4.0 slave=`/usr/local/mysql/bin/mysql -u$user -p$passwd -h127.0.0.1 -e "show slave status\G;"|egrep "Relay_Master_Log_File|Exec_master_log_pos"` #mysql 5.0 #slave=`mysql -u$user -p$passwd -e "show slave status\G;"|egrep "Relay_Master_Log_File|Exec_Master_Log_Pos"` #取主庫上的bin-log號及寫入的當前日志位置 Master_Log=`echo $master |awk '{print $2}'|awk -F "." '{print $2}'` Master_Log_Pos=`echo $master |awk '{print $4}'` #取從庫上當前同步主庫的位置 Relay_Master_Log_File=`echo $slave |awk '{print $2}'|awk -F "." '{print $2}'` Exec_Master_Log_Pos=`echo $slave |awk '{print $4}'` echo "Master_Log:"$Master_Log>>$log echo "Master_Log_Pos:"$Master_Log_Pos>>$log echo "Relay_Master_Log_File:"$Relay_Master_Log_File>>$log echo "Exec_Master_Log_Pos:"$Exec_Master_Log_Pos>>$log } for((i=1;i<=10;i++)); do echo "#################################">>$log value time=`date +"%Y-%m-%d %H:%M:%S"` if [ $Master_Log -eq $Relay_Master_Log_File ];then A=`expr $Master_Log_Pos - $Exec_Master_Log_Pos` if [ $A -lt 0 ];then A=`expr 0 - $A` fi echo $A>>$log if [ $A -lt 10000 ];then echo "$time Master-Slave is OK.">>$log #echo "$i" break else if [ $i ge 3 ];then echo "$time Warning:Slave-Master lag $A " >>$log echo "$i" fi sleep 30 continue fi else sleep 60 fi if [ $i -eq 10 ];then echo "$i" echo "$time Error:Slave-Master must be check !" >>$log fi done

在mysql5.0以後的版本，mysql主從已經相當的成熟了，可以只監控Slave_IO_Running，Slave_SQL_Running，Seconds_Behind_Master狀態就可以了

息壤平台數據庫同步：

default-storage-engine = InnoDB

character_set_server=utf8

log-bin=mysql-bin

log-bin-index=master-bin.index

server-id=48

binlog_do_db=hscloud

binlog_do_db=pyhscloud

binlog_do_db=openstack

binlog_do_db=mysql