共計 2488 個字符，預計需要花費 7 分鐘才能閱讀完成。
這篇文章將為大家詳細講解有關 MySQL 中 Datax 如何實現離線數據抽取，丸趣 TV 小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。
Datax 下載地址：https://github.com/alibaba/DataX
Datax MySQL 讀：
https://github.com/alibaba/DataX/blob/master/mysqlreader/doc/mysqlreader.md
Datax MySQL 寫：
https://github.com/alibaba/DataX/blob/master/mysqlwriter/doc/mysqlwriter.md
1. 下載安裝 Datax 軟件 (必須安裝 jdk 1.8 版本以上)
[root@localhost ~]# tar xvf jdk-8u65-linux-x64.tar.gz
[root@localhost ~]# mv jdk1.8.0_151 /usr/local/jdk1.8.0_151
[root@localhost ~]# vim /etc/profile
export PATH=$PATH:/usr/local/jdk1.8.0_151/bin
[root@localhost ~]# vim /etc/ld.so.conf.d/mysql-x86_64.conf
/usr/local/jdk1.8.0_151/lib
[root@localhost ~]# tar xvf datax.tar.gz
[root@localhost ~]# cd datax/job/
2. 編輯配置文件
[root@localhost job]# vim job.json
{
job : {
setting : {
speed : {
channel : 5
}
},
content : [
{
reader : {
name : mysqlreader ,
parameter : {
username : taf ,
password : taf2015 ,
column : [*],
connection : [
{
table : [t2],
jdbcUrl : [jdbc:mysql://172.16.8.160:3306/test?useUnicode=true characterEncoding=utf8]
}
]
}
},
writer : {
name : mysqlwriter ,
parameter : {
writeMode : update ,
username : wangying ,
password : wangying ,
column : [*],
connection : [
{
jdbcUrl : jdbc:mysql://172.16.8.93:3306/db_stktag ,
table : [t2]
}
]
}
}
}
]
}
}
[root@localhost job]#
3.mysql 兩邊表結果必須一至，使用 python2 抽取數據
[root@localhost job]# python2 /root/datax/bin/datax.py job.json
DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright (C) 2010-2017, Alibaba Group. All Rights Reserved.
2019-01-29 11:18:50.569 [main] INFO VMInfo – VMInfo# operatingSystem class = sun.management.OperatingSystemImpl
2019-01-29 11:18:50.615 [main] INFO Engine – the machine info =
osInfo:Oracle Corporation 1.8 25.151-b12
jvmInfo:Linux amd64 3.10.0-123.el7.x86_64
cpu num:8
totalPhysicalMemory:-0.00G
freePhysicalMemory:-0.00G
maxFileDescriptorCount:-1
currentOpenFileDescriptorCount:-1
。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
任務啟動時刻 : 2019-01-29 11:18:50
任務結束時刻 : 2019-01-29 11:19:04
任務總計耗時 : 13s
任務平均流量 : 1B/s
記錄寫入速度 : 0rec/s
讀出記錄總數 : 7
讀寫失敗總數 : 0
[root@localhost job]#
關于“MySQL 中 Datax 如何實現離線數據抽取”這篇文章就分享到這里了，希望以上內容可以對大家有一定的幫助，使各位可以學到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。
