共計 4292 個字符，預計需要花費 11 分鐘才能閱讀完成。
自動寫代碼機器人，免費開通
這篇文章將為大家詳細講解有關 canal 如何實現(xiàn) mysql 的數(shù)據(jù)同步，丸趣 TV 小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。
canal 是什么？
canal [k? n?l]，譯意為水道 / 管道 / 溝渠，主要用途是基于 MySQL 數(shù)據(jù)庫增量日志解析，提供增量數(shù)據(jù)訂閱和消費
基于日志增量訂閱和消費的業(yè)務包括
數(shù)據(jù)庫鏡像數(shù)據(jù)庫實時備份索引構建和實時維護 (拆分異構索引、倒排索引等) 業(yè)務 cache 刷新帶業(yè)務邏輯的增量數(shù)據(jù)處理
當前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x
工作原理
基于上面的講解，我們在實現(xiàn) canal 之前，先簡單做一個主從復制。一主 一從首先下載 mysql 鏡像, 并啟動
docker pull mysql:latest
docker run -itd --name mysql-1 -p 23306:3306 -e MYSQL_ROOT_PASSWORD=root mysql
docker run -itd --name mysql-2 -p 23307:3306 -e MYSQL_ROOT_PASSWORD=root mysql 復制代碼
相關命令再解釋一下：
name xxx :xxx 為容器名
p 111:222 其中 111 是宿主機端口，222 是容器端口
MYSQL_ROOT_PASSWORD=root 設置 root 賬戶密碼為 root
進入容器測試一下，一切正常
設置 mysql- 1 為主，mysql- 2 為從庫修改一下 mysql 的配置，安裝 vim 編輯器
apt-get update
apt-get install vim 復制代碼
在主庫 創(chuàng)建一個 mysql 賬戶給從庫使用
CREATE USER slave @ % IDENTIFIED BY 123456
GRANT REPLICATION SLAVE, REPLICATION CLIENT ON . TO slave @ %
FLUSH PRIVILEGES；復制代碼
修改一下從服務器
[mysqld]
pid-file = /var/run/mysqld/mysqld.pid
socket = /var/run/mysqld/mysqld.sock
datadir = /var/lib/mysql
secure-file-priv= NULL
server_id=100
log-bin=mysql-slave-bin
relay_log=edu-mysql-relay-bin 復制代碼
退出重啟從服務器 docker 進入從服務器 執(zhí)行
mysql change master to master_host= 172.17.0.4 , master_user= slave , master_password= 123456 , master_port=3306, master_log_file= edu-mysql-bin.000001 , master_log_pos= 877, master_connect_retry=30; 復制代碼相關命令解釋
master_port：Master 的端口號，指的是容器的端口號
master_user：用于數(shù)據(jù)同步的用戶
master_password：用于同步的用戶的密碼
master_log_file：指定 Slave 從哪個日志文件開始復制數(shù)據(jù)，即上文中提到的 File 字段的值
master_log_pos：從哪個 Position 開始讀，即上文中提到的 Position 字段的值
master_connect_retry：如果連接失敗，重試的時間間隔，單位是秒，默認是 60 秒
在 Slave 中的 mysql 終端執(zhí)行 show slave status \\\\G; 用于查看主從同步狀態(tài)。
出現(xiàn)一下信息說明配置成功
接下來再主庫寫數(shù)據(jù)，從庫同步成功
簡單的主從同步完成了，但是我們要想，怎么實現(xiàn)的主從同步，對吧；
其實就是 通過 同步二進制日志文件，從服務器 會起一個 io 進程，讀取二進制文件同步到 從服務器
簡單看一下二進制文件的內(nèi)容；
為什么再 將 canal 之前要先說主從復制呢，其實 canal 就是把自己偽裝成了從服務器，從而讀取日志，拿到數(shù)據(jù)；使用 docker 部署 canal
參考鏈接
docker pull canal/canal-server:latest
# 下載腳本
wget https://raw.githubusercontent.com/alibaba/canal/master/docker/run.sh
# 構建一個 destination name 為 test 的隊列，address 對應的數(shù)據(jù)庫 ip+ 端口，dbUsername 對應數(shù)據(jù)庫用戶名，dbPassword 對應數(shù)據(jù)庫密碼，注意修改為自己的
sh run.sh -e canal.auto.scan=false \\\\
-e canal.destinations=test \\\\
-e canal.instance.master.address=172.17.0.4:3306 \\\\
-e canal.instance.dbUsername=canal \\\\
-e canal.instance.dbPassword=canal \\\\
-e canal.instance.connectionCharset=UTF-8 \\\\
-e canal.instance.tsdb.enable=true \\\\
-e canal.instance.gtidon=false \\\\ 復制代碼
啟動之后可以進入容器，看一下里面的 日志, 如果出現(xiàn)了標紅的信息，說明成功，否則就查看里面的報錯信息吧！也不難
配合 php 查看數(shù)據(jù)變化（此處不限 php，java,go，python 等都有接口）多語言連接 https://github.com/alibaba/canalphp 監(jiān)聽數(shù)據(jù)變化 canal-php
canal-php 是阿里巴巴開源項目 Canal 是阿里巴巴 mysql 數(shù)據(jù)庫 binlog 的增量訂閱 消費組件 的 php 客戶端。為 php 開發(fā)者提供一個更友好的使用 Canal 的方式。Canal 是 mysql 數(shù)據(jù)庫 binlog 的增量訂閱 消費組件。
基于日志增量訂閱 消費支持的業(yè)務：
數(shù)據(jù)庫鏡像數(shù)據(jù)庫實時備份多級索引 (賣家和買家各自分庫索引)search build 業(yè)務 cache 刷新價格變化等重要業(yè)務消息
關于 Canal 的更多信息請訪問 github.com/alibaba/can…
應用場景
canal-php 作為 Canal 的客戶端，其應用場景就是 Canal 的應用場景。關于應用場景在 Canal 介紹一節(jié)已有概述。舉一些實際的使用例子：
1. 代替使用輪詢數(shù)據(jù)庫方式來監(jiān)控數(shù)據(jù)庫變更，有效改善輪詢耗費數(shù)據(jù)庫資源。
2. 根據(jù)數(shù)據(jù)庫的變更實時更新搜索引擎，比如電商場景下商品信息發(fā)生變更，實時同步到商品搜索引擎 Elasticsearch、solr 等
3. 根據(jù)數(shù)據(jù)庫的變更實時更新緩存，比如電商場景下商品價格、庫存發(fā)生變更實時同步到 redis
4. 數(shù)據(jù)庫異地備份、數(shù)據(jù)同步
5. 根據(jù)數(shù)據(jù)庫變更觸發(fā)某種業(yè)務，比如電商場景下，創(chuàng)建訂單超過 xx 時間未支付被自動取消，我們獲取到這條訂單數(shù)據(jù)的狀態(tài)變更即可向用戶推送消息。
6. 將數(shù)據(jù)庫變更整理成自己的數(shù)據(jù)格式發(fā)送到 kafka 等消息隊列，供消息隊列的消費者進行消費。
工作原理
canal-php 是 Canal 的 php 客戶端，它與 Canal 是采用的 Socket 來進行通信的，傳輸協(xié)議是 TCP，交互協(xié)議采用的是 Google Protocol Buffer 3.0。
工作流程
使用組件安裝，此處我有一個 laravel 框架，直接在 laravel 里面安裝使用了，相關代碼貼出
# 安裝組件 canal-php
composer require xingwenge/canal_php
# 編寫腳本監(jiān)聽
?php
namespace App\\\\Console\\\\Commands;
use xingwenge\\\\canal_php\\\\CanalClient;
use xingwenge\\\\canal_php\\\\CanalConnectorFactory;
use xingwenge\\\\canal_php\\\\Fmt;
use Illuminate\\\\Console\\\\Command;
ini_set( display_errors , On
error_reporting(E_ALL);
class CanalDemo extends Command
* The name and signature of the console command.
* @var string
protected $signature = CanalDemo
* The console command description.
* @var string
protected $description = 測試 canal
* Create a new command instance.
* @return void
public function __construct()
parent::__construct();
* Execute the console command.
* @return mixed
public function handle()
try {$client = CanalConnectorFactory::createClient(CanalClient::TYPE_SOCKET_CLUE);
# $client = CanalConnectorFactory::createClient(CanalClient::TYPE_SWOOLE);
$client- connect(172.17.0.5 , 11111);// 此處修改為自己的配置
$client- checkValid();
$client- subscribe( 1001 , test , .*\\\\\\\\..* // 對應啟動容器時 test 的隊列名
while (true) {$message = $client- get(100);
if ($entries = $message- getEntries()) {foreach ($entries as $entry) {Fmt::println($entry);
sleep(1);
$client- disConnect();} catch (\\\\Exception $e) {echo $e- getMessage(), PHP_EOL;
}復制代碼
更改數(shù)據(jù)
監(jiān)聽結果
關于 canal 如何實現(xiàn) mysql 的數(shù)據(jù)同步就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。
向 AI 問一下細節(jié)丸趣 TV 網(wǎng) – 提供最優(yōu)質的資源集合！
