canal如何實(shí)現(xiàn)mysql的數(shù)據(jù)同步

204次閱讀

共計(jì) 4292 個(gè)字符，預(yù)計(jì)需要花費(fèi) 11 分鐘才能閱讀完成。

自動(dòng)寫代碼機(jī)器人，免費(fèi)開通

這篇文章將為大家詳細(xì)講解有關(guān) canal 如何實(shí)現(xiàn) mysql 的數(shù)據(jù)同步，丸趣 TV 小編覺得挺實(shí)用的，因此分享給大家做個(gè)參考，希望大家閱讀完這篇文章后可以有所收獲。

canal 是什么？

canal [k? n?l]，譯意為水道 / 管道 / 溝渠，主要用途是基于 MySQL 數(shù)據(jù)庫(kù)增量日志解析，提供增量數(shù)據(jù)訂閱和消費(fèi)

基于日志增量訂閱和消費(fèi)的業(yè)務(wù)包括

數(shù)據(jù)庫(kù)鏡像數(shù)據(jù)庫(kù)實(shí)時(shí)備份索引構(gòu)建和實(shí)時(shí)維護(hù) (拆分異構(gòu)索引、倒排索引等) 業(yè)務(wù) cache 刷新帶業(yè)務(wù)邏輯的增量數(shù)據(jù)處理

當(dāng)前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x

工作原理

基于上面的講解，我們?cè)趯?shí)現(xiàn) canal 之前，先簡(jiǎn)單做一個(gè)主從復(fù)制。一主一從首先下載 mysql 鏡像, 并啟動(dòng)

docker pull mysql:latest
docker run -itd --name mysql-1 -p 23306:3306 -e MYSQL_ROOT_PASSWORD=root mysql
docker run -itd --name mysql-2 -p 23307:3306 -e MYSQL_ROOT_PASSWORD=root mysql 復(fù)制代碼

相關(guān)命令再解釋一下：

name xxx :xxx 為容器名
p 111:222 其中 111 是宿主機(jī)端口，222 是容器端口
MYSQL_ROOT_PASSWORD=root 設(shè)置 root 賬戶密碼為 root

進(jìn)入容器測(cè)試一下，一切正常

設(shè)置 mysql- 1 為主，mysql- 2 為從庫(kù)修改一下 mysql 的配置，安裝 vim 編輯器

apt-get update
apt-get install vim 復(fù)制代碼

在主庫(kù) 創(chuàng)建一個(gè) mysql 賬戶給從庫(kù)使用

CREATE USER slave @ % IDENTIFIED BY 123456 
GRANT REPLICATION SLAVE, REPLICATION CLIENT ON . TO slave @ % 
FLUSH PRIVILEGES；復(fù)制代碼

修改一下從服務(wù)器

[mysqld]
pid-file = /var/run/mysqld/mysqld.pid
socket = /var/run/mysqld/mysqld.sock
datadir = /var/lib/mysql
secure-file-priv= NULL
server_id=100
log-bin=mysql-slave-bin
relay_log=edu-mysql-relay-bin 復(fù)制代碼

退出重啟從服務(wù)器 docker 進(jìn)入從服務(wù)器執(zhí)行

mysql change master to master_host= 172.17.0.4 , master_user= slave , master_password= 123456 , master_port=3306, master_log_file= edu-mysql-bin.000001 , master_log_pos= 877, master_connect_retry=30; 復(fù)制代碼

相關(guān)命令解釋
master_port：Master 的端口號(hào)，指的是容器的端口號(hào)
master_user：用于數(shù)據(jù)同步的用戶
master_password：用于同步的用戶的密碼
master_log_file：指定 Slave 從哪個(gè)日志文件開始復(fù)制數(shù)據(jù)，即上文中提到的 File 字段的值
master_log_pos：從哪個(gè) Position 開始讀，即上文中提到的 Position 字段的值
master_connect_retry：如果連接失敗，重試的時(shí)間間隔，單位是秒，默認(rèn)是 60 秒
在 Slave 中的 mysql 終端執(zhí)行 show slave status \\\\G; 用于查看主從同步狀態(tài)。

出現(xiàn)一下信息說明配置成功

接下來再主庫(kù)寫數(shù)據(jù)，從庫(kù)同步成功

簡(jiǎn)單的主從同步完成了，但是我們要想，怎么實(shí)現(xiàn)的主從同步，對(duì)吧；

其實(shí)就是通過同步二進(jìn)制日志文件，從服務(wù)器會(huì)起一個(gè) io 進(jìn)程，讀取二進(jìn)制文件同步到從服務(wù)器

簡(jiǎn)單看一下二進(jìn)制文件的內(nèi)容；

為什么再將 canal 之前要先說主從復(fù)制呢，其實(shí) canal 就是把自己偽裝成了從服務(wù)器，從而讀取日志，拿到數(shù)據(jù)；使用 docker 部署 canal

參考鏈接

docker pull canal/canal-server:latest
# 下載腳本
wget https://raw.githubusercontent.com/alibaba/canal/master/docker/run.sh 
# 構(gòu)建一個(gè) destination name 為 test 的隊(duì)列，address 對(duì)應(yīng)的數(shù)據(jù)庫(kù) ip+ 端口，dbUsername 對(duì)應(yīng)數(shù)據(jù)庫(kù)用戶名，dbPassword 對(duì)應(yīng)數(shù)據(jù)庫(kù)密碼，注意修改為自己的
sh run.sh -e canal.auto.scan=false \\\\
-e canal.destinations=test \\\\
-e canal.instance.master.address=172.17.0.4:3306 \\\\
-e canal.instance.dbUsername=canal \\\\
-e canal.instance.dbPassword=canal \\\\
-e canal.instance.connectionCharset=UTF-8 \\\\
-e canal.instance.tsdb.enable=true \\\\
-e canal.instance.gtidon=false \\\\ 復(fù)制代碼

啟動(dòng)之后可以進(jìn)入容器，看一下里面的日志, 如果出現(xiàn)了標(biāo)紅的信息，說明成功，否則就查看里面的報(bào)錯(cuò)信息吧！也不難

配合 php 查看數(shù)據(jù)變化（此處不限 php，java,go，python 等都有接口）多語(yǔ)言連接 https://github.com/alibaba/canalphp 監(jiān)聽數(shù)據(jù)變化 canal-php

canal-php 是阿里巴巴開源項(xiàng)目 Canal 是阿里巴巴 mysql 數(shù)據(jù)庫(kù) binlog 的增量訂閱消費(fèi)組件的 php 客戶端。為 php 開發(fā)者提供一個(gè)更友好的使用 Canal 的方式。Canal 是 mysql 數(shù)據(jù)庫(kù) binlog 的增量訂閱消費(fèi)組件。

基于日志增量訂閱消費(fèi)支持的業(yè)務(wù)：

數(shù)據(jù)庫(kù)鏡像數(shù)據(jù)庫(kù)實(shí)時(shí)備份多級(jí)索引 (賣家和買家各自分庫(kù)索引)search build 業(yè)務(wù) cache 刷新價(jià)格變化等重要業(yè)務(wù)消息

關(guān)于 Canal 的更多信息請(qǐng)?jiān)L問 github.com/alibaba/can…

應(yīng)用場(chǎng)景

canal-php 作為 Canal 的客戶端，其應(yīng)用場(chǎng)景就是 Canal 的應(yīng)用場(chǎng)景。關(guān)于應(yīng)用場(chǎng)景在 Canal 介紹一節(jié)已有概述。舉一些實(shí)際的使用例子：

1. 代替使用輪詢數(shù)據(jù)庫(kù)方式來監(jiān)控?cái)?shù)據(jù)庫(kù)變更，有效改善輪詢耗費(fèi)數(shù)據(jù)庫(kù)資源。

2. 根據(jù)數(shù)據(jù)庫(kù)的變更實(shí)時(shí)更新搜索引擎，比如電商場(chǎng)景下商品信息發(fā)生變更，實(shí)時(shí)同步到商品搜索引擎 Elasticsearch、solr 等

3. 根據(jù)數(shù)據(jù)庫(kù)的變更實(shí)時(shí)更新緩存，比如電商場(chǎng)景下商品價(jià)格、庫(kù)存發(fā)生變更實(shí)時(shí)同步到 redis

4. 數(shù)據(jù)庫(kù)異地備份、數(shù)據(jù)同步

5. 根據(jù)數(shù)據(jù)庫(kù)變更觸發(fā)某種業(yè)務(wù)，比如電商場(chǎng)景下，創(chuàng)建訂單超過 xx 時(shí)間未支付被自動(dòng)取消，我們獲取到這條訂單數(shù)據(jù)的狀態(tài)變更即可向用戶推送消息。

6. 將數(shù)據(jù)庫(kù)變更整理成自己的數(shù)據(jù)格式發(fā)送到 kafka 等消息隊(duì)列，供消息隊(duì)列的消費(fèi)者進(jìn)行消費(fèi)。

工作原理

canal-php 是 Canal 的 php 客戶端，它與 Canal 是采用的 Socket 來進(jìn)行通信的，傳輸協(xié)議是 TCP，交互協(xié)議采用的是 Google Protocol Buffer 3.0。

工作流程

使用組件安裝，此處我有一個(gè) laravel 框架，直接在 laravel 里面安裝使用了，相關(guān)代碼貼出

# 安裝組件 canal-php
 composer require xingwenge/canal_php
# 編寫腳本監(jiān)聽
 ?php
namespace App\\\\Console\\\\Commands;
use xingwenge\\\\canal_php\\\\CanalClient;
use xingwenge\\\\canal_php\\\\CanalConnectorFactory;
use xingwenge\\\\canal_php\\\\Fmt;
use Illuminate\\\\Console\\\\Command;
ini_set( display_errors , On 
error_reporting(E_ALL);
class CanalDemo extends Command
 * The name and signature of the console command.
 * @var string
 protected $signature = CanalDemo 
 * The console command description.
 * @var string
 protected $description = 測(cè)試 canal 
 * Create a new command instance.
 * @return void
 public function __construct()
 parent::__construct();
 * Execute the console command.
 * @return mixed
 public function handle()
 try {$client = CanalConnectorFactory::createClient(CanalClient::TYPE_SOCKET_CLUE);
 # $client = CanalConnectorFactory::createClient(CanalClient::TYPE_SWOOLE);
 $client- connect(172.17.0.5 , 11111);// 此處修改為自己的配置
 $client- checkValid();
 $client- subscribe( 1001 , test , .*\\\\\\\\..* // 對(duì)應(yīng)啟動(dòng)容器時(shí) test 的隊(duì)列名
 while (true) {$message = $client- get(100);
 if ($entries = $message- getEntries()) {foreach ($entries as $entry) {Fmt::println($entry);
 sleep(1);
 $client- disConnect();} catch (\\\\Exception $e) {echo $e- getMessage(), PHP_EOL;
}復(fù)制代碼

更改數(shù)據(jù)