Mysql數據怎么同步到Greenplum

136次閱讀

共計 3321 個字符，預計需要花費 9 分鐘才能閱讀完成。

本篇內容主要講解“Mysql 數據怎么同步到 Greenplum”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓丸趣 TV 小編來帶大家學習“Mysql 數據怎么同步到 Greenplum”吧!

一、資源信息

這邊就不贅述

二、配置相關數據源、目標數據源和 java 環境
mysql 數據源
1、數據庫，create database testdb1;
2、用戶權限，需要擁有 select 權限和 binlog 拉取權限，此處使用 root 權限
3、同步的表（切換到 syncdb1 數據庫），create table tb1(a int, b char(10), primary key(a));

pgsql 目的數據庫
1、用戶，create user testdb with password testdb
2、數據庫，create database testdb with owner testdb
3、同步的表（使用 testdb 用戶切換到 testdb 數據庫），create table tb1(a int, b char(10), primary key(a));

java 環境的安裝
1、下載二進制安裝包：jdk-8u101-linux-x64.tar.gz
2、解壓二進制包并做軟鏈接：tar xf jdk-8u101-linux-x64.tar.gz ln -s /data/jdk1.8.0_101 /usr/java
3、配置路徑和 java 環境變量：vim /etc/profile.d/java.sh
export JAVA_HOME=/usr/java
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
4、source 生效：source /etc/profile.d/java.sh
5、安裝 jsvc，yum install jsvc

三、kafka 的安裝和啟動配置
1、下載地址：https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/
2、kafka 官方文檔：http://kafka.apache.org/
3、解壓縮：tar xf kafka_2.11-2.0.0.tgz cd kafka_2.11-2.0.0
4、ZooKeeper
啟動，bin/zookeeper-server-start.sh config/zookeeper.properties
關閉，bin/zookeeper-server-stop.sh config/zookeeper.properties
5、Kafka server
啟動，bin/kafka-server-start.sh config/server.properties
啟動，bin/kafka-server-stop.sh config/server.properties
6、Topic
創建，bin/kafka-topics.sh –create –zookeeper localhost:2181 –replication-factor 1 –partitions 1 –topic green
查詢，bin/kafka-topics.sh –list –zookeeper localhost:2181
刪除，bin/kafka-topics.sh –delete –zookeeper localhost:2181 –topic green
7、Producer（不是本實驗必須的，作為學習使用）
bin/kafka-console-producer.sh –broker-list localhost:9092 –topic green
aaa
123

8、Consumer（不是本實驗必須的，作為學習使用）
bin/kafka-console-consumer.sh –bootstrap-server localhost:9092 –topic green –from-beginning
aaa
123

四、maxwell 的安裝和啟動配置
1、下載地址：https://github.com/zendesk/maxwell/releases
2、maxwell 官方文檔：https://github.com/zendesk/maxwell
3、解壓縮：tar xf maxwell-1.17.1.tar.gz cd maxwell-1.17.1
4、修改配置文件，cp config.properties.example config.properties vim config.properties
log_level=info

# kafka info
producer=kafka
kafka.bootstrap.servers=localhost:9092
kafka_topic=green
ddl_kafka_topic=green

# mysql login info
host=xx.xx.xx.xx
port=3306
user=root
password=123456
5、啟動 maxwell，bin/maxwell –config config.properties
6、maxwell 默認在源數據庫生成庫 maxwell 記錄相關信息

五、bireme 的安裝和啟動配置
1、下載地址：https://github.com/HashDataInc/bireme/releases
2、bireme 官方文檔：https://github.com/HashDataInc/bireme/blob/master/README_zh-cn.md
3、解壓縮：tar xf bireme-1.0.0.tar.gz cd bireme-1.0.0
4、修改配置文件，vim etc/config.properties
# target database where the data will sync into.
target.url = jdbc:postgresql://xxx.xxx.xxx.xxx:5432/testdb
target.user = testdb
target.passwd = testdb

# data source name list, separated by comma.
data_source = maxwell1

# data source mysql1 type
maxwell1.type = maxwell
# kafka server which maxwell write binlog into.
maxwell1.kafka.server = 127.0.0.1:9092
# kafka topic which maxwell write binlog into.
maxwell1.kafka.topic = green
# kafka groupid used for consumer.
maxwell1.kafka.groupid = bireme

# set the IP address for bireme state server.
state.server.addr = 0.0.0.0
# set the port for bireme state server.
state.server.port = 8080
5、修改配置文件，vim etc/maxwell1.properties（表映射配置）
note：maxwell1.properties 的 maxwell1 一定要和 bireme 的 data_source 保持一致
testdb1.tb1 = public.tb1
testdb2.tb1 = public.tb1
6、啟動 bireme，bin/bireme start

六、測試
1、mysql 數據源
insert into tb1 select 1, a
insert into tb1 select 2, b
2、pgsql 目標數據庫
testdb=# select * from tb1;
a | b

—+————
1 | a

2 | b

(2 rows)