共計 5527 個字符，預計需要花費 14 分鐘才能閱讀完成。
這篇文章主要介紹了如何使用 OGG 同步 ORACLE ACTIVE DATAGUARD 數據到 CLOUDERA HBASE 測試，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓丸趣 TV 小編帶著大家一起了解一下。
環境介紹：
機器名
數據庫版本
架構
OGG 版本
IP
OS 版本
uatdbrac1
Oracle 11.2.0.4
rac
NULL
172.16.49.191
REDHAT6.4
Uatdbrac2
Oracle 11.2.0.4
rac
NULL
172.16.49.193
REDHAT6.4
uagracdg
Oracle 11.2.0.4
ADG
OGG 12.2.0.1
172.16.49.138
REDHAT6.4
master1
Hbase
cdh6.6.0
OGG FOR BIG DATA 12.2.0.1
172.16.49.35
REDHAT6.4
測試目的：
以 ORACLE ACTIVE DATAGUARD 作為數據抽取源，使用 ORACLE GOLDENGATE 將 ORACLE 數據庫中變化數據同步到 HBASE 集群。
一．部署 ORACLE RAC 的 ACTIVE DATAGUARD
請參照之前 ADG EXAMPLE 文檔
二．在主庫 RAC 上的準備工作
1. 創建 GoldenGate 表空間
2. 創建 GoldenGate 用戶并授權
3. 開啟 force logging（做 Active Datagurad 時候已經配好）
4. 啟用附加日志
alter database add supplemental log data;
alter system switch logfile;
select supplemental_log_data_min from v$database;
5. 啟用 enable_goldengate_replication
alter system set enable_goldengate_replication=true;
三．在 ADG 上部署 goldengate 12.2
1. 創建 golden os 用戶
2. 創建 ogg 軟件安裝目錄 /goldengate/gg12c
3. 編輯 golden 用戶 profile
Vi .bash_profile 添加如下內容：
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=/u01/app/oracle/product/11.2.0/dbhome_1
export ORACLE_SID=uatracdg –ACTIVE DATAGUARD ORACLE SID
export LD_LIBRARY_PATH=/goldengate/gg12c:$ORACLE_HOME/lib:$ORACLE_HOME/lib32
export OGG_HOME=/goldengate/gg12c
PATH=$PATH:$HOME/bin:$ORACLE_HOME/bin:/goldengate/gg12c:.
export PATH
cd $OGG_HOME
4. 下載 goldengate 12.2 for linux 64bit 版本
最新軟件包名 V100692-01.zip
5. 解壓安裝包
Unzip V100692-01.zip 得到下列文件：
fbo_ggs_Linux_x64_shiphome
OGG-12.2.0.1.1-ReleaseNotes.pdf
OGG-12.2.0.1-README.txt
6. 編輯靜默安裝參數文件
cd /goldengate/fbo_ggs_Linux_x64_shiphome/Disk1/response
編輯 response 文件，更改下列參數
INSTALL_OPTION=ORA11g
SOFTWARE_LOCATION=/goldengate/gg12c
START_MANAGER=true
MANAGER_PORT=7801
DATABASE_LOCATION=/u01/app/oracle/product/11.2.0/dbhome_1
INVENTORY_LOCATION=/goldengate/gg12c/oraInventory
UNIX_GROUP_NAME=oinstall
7. 靜默安裝 OGG
cd /goldengate/fbo_ggs_Linux_x64_shiphome/Disk1
./runInstaller -silent -responseFile /goldengate/fbo_ggs_Linux_x64_shiphome/Disk1/response/oggcore.rsp
8. 添加表的附加日志
因為 ADG 是只讀模式，添加附加日志需要更改數據字典，所以此操作需要在 ggsci 命令行中連接主庫 RAC 進行
ggsci dblogin userid goldengate@uatrac passowrd
add trandata HADP.OGGT1
add trandata HADP.OGGT2
9. 添加配置 extract 進程
add extract ext01, tranlog, begin yyyy-MM-dd HH:mm:ss
add exttrail ./dirdat/et, extract ext01
edit param ext01
EXTRACT ext01
setenv (NLS_LANG= SIMPLIFIED CHINESE_CHINA.ZHS16GBK)
setenv (ORACLE_SID=uatracdg)
userid goldengate, password golden123
exttrail ./dirdat/et
gettruncates
–dynamicresolution
discardfile ./dirrpt/discardext01.txt, append, megabytes 50
–DBOPTIONS ALLOWUNUSEDCOLUMN
–TRANLOGOPTIONS CONVERTUCS2CLOBS
EOFDELAY 3
getupdatebefores
TRANLOGOPTIONS MINEFROMACTIVEDG –FOR ADG
TABLE HADP.OGGT2;
TABLE HADP.OGGT1;
10. 添加配置 PUMP 進程
add extract pup1, exttrailsource ./dirdat/et
add rmttrail ./dirdat/rt, extract pup1
Edit param pup1
extract pup1
setenv (NLS_LANG= SIMPLIFIED CHINESE_CHINA.ZHS16GBK)
userid goldengate password golden123
rmthost 172.16.49.35, mgrport 7809, TCPBUFSIZE 5000000
rmttrail ./dirdat/rt
DYNAMICRESOLUTION
NUMFILES 3000
ALLOCFILES 200
passthru
TABLE HADP.OGGT2;
TABLE HADP.OGGT1;
四．在 CDH 上部署 goldengate for big data 12.2
1. 創建 golden os 用戶
2. 創建 ogg 軟件安裝目錄 /goldengate/gg12c
3. 編輯 golden 用戶 profile
export JAVA_HOME=/usr/local/jdk1.7.0_80
PATH=$PATH:$HOME/bin
export PATH
export NLS_LANG=AMERICAN_AMERICA.ZHS16BGK
export PATH=$JAVA_HOME/bin:$PATH:/goldengate/gg12c:/usr/local/apache-maven-3.1.1/bin:.
export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64/server:/goldengate/gg12c:/goldengate/gg12c/ggjava/resources/ggplugins/hdfs:.
export CLASSPATH=/goldengate/gg12c/ggjava/*:/goldengate/gg12c/dirprm/*:/goldengate/gg12c/lib/*:/etc/hadoop/conf/core-site.xml:/etc/hadoop/conf/hdfs-site.xml:/opt/cloudera/parcels/
CDH-5.6.0-1.cdh6.6.0.p0.45/lib/hadoop-hdfs/*:/opt/cloudera/parcels/CDH-5.6.0-1.cdh6.6.0.p0.45/lib/hadoop-hdfs/lib/*:/opt/cloudera/parcels/CDH-5.6.0-1.cdh6.6.0.p0.45/lib/hadoop/*:/
opt/cloudera/parcels/CDH-5.6.0-1.cdh6.6.0.p0.45/lib/hadoop/client/*:/goldengate/gg12c/dirprm/*:/opt/cloudera/parcels/CDH-5.6.0-1.cdh6.6.0.p0.45/lib/hadoop/lib/*:.
export OGG_HOME=/goldengate/gg12c
4. 下載 ogg for big data
最新軟件包 V100447-01.zip
5. 安裝 ogg for big data
解壓在安裝目錄即可
6. 創建子目錄
Ggsci create subdirs
7. 配置管理進程 MGR
Edit param mgr
PORT 7809
dynamicportlist 7820-7850
8. 添加配置復制進程
將 /goldengate/gg12c/AdapterExamples/big-data/hbase 下文件 copy 到 $OGG_HOME/dirprm 下，
編輯 hbase.props
更改下列參數
gg.handler.hbase.hBaseColumnFamilyName=ID
gg.classpath=/etc/hbase/conf.cloudera.hbase:/opt/cloudera/parcels/CDH-5.6.0-1.cdh6.6.0.p0.45/lib/hbase/*:/opt/cloudera/parcels/CDH-5.6.0-1.cdh6.6.0.p0.45/lib/hbase/lib/*:/opt/cloudera/parcels/CDH-5.6.0-1.cdh6.6.0.p0.45/lib/hadoop/*:/opt/cloudera/parcels/CDH-5.6.0-1.cdh6.6.0.p0.45/lib/hadoop/client/*:/goldengate/gg12c/dirprm/*:/opt/cloudera/parcels/CDH-5.6.0-1.cdh6.6.0.p0.45/lib/hadoop/lib/*:.
ggsci add replicat rhbase, nodbcheckpoint, exttrail ./dirdat/rt
ggsci Edit param rhbase
REPLICAT rhbase
SOURCEDEFS ./dirsql/hdfs.sql
— Trail file for this example is located in AdapterExamples/trail directory
— Command to add REPLICAT
— add replicat rhbase, exttrail AdapterExamples/trail/tr
setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)
TARGETDB LIBFILE /goldengate/gg12c/libggjava.so SET property=/goldengate/gg12c/dirprm/hbase.props
REPORTCOUNT EVERY 1 MINUTES, RATE
GROUPTRANSOPS 10000
MAP HADP.OGGT2, TARGET HADP.OGGTEST,
RESOLVECONFLICT(INSERTROWEXISTS, (DEFAULT, OVERWRITE)),
COLMAP (ID=ID, COL1=COL1, COL2=COL2);
MAP HADP.OGGT1, TARGET HADP.OGGTEST,
RESOLVECONFLICT(INSERTROWEXISTS, (DEFAULT, OVERWRITE)),
COLMAP (ID=ID, COLA=COLA, COLB=COLB);
9. 登陸 HBASE 創建測試表
創建 namespace HADP：
hbase shell
create namespace‘HADP’
list_namespace
describe_namespace ‘HADP’
創建表：
create‘HADP:OGGTEST’,’ID’,’COL1’,’COL2’,’COLA’,’COLB’
查看表數據：
scan‘HADP:OGGTEST’
10. 查看 OGG FOR BIG DATA 日志
cd /goldengate/gg12c/dirrpt
more *hbase*.log
感謝你能夠認真閱讀完這篇文章，希望丸趣 TV 小編分享的“如何使用 OGG 同步 ORACLE ACTIVE DATAGUARD 數據到 CLOUDERA HBASE 測試”這篇文章對大家有幫助，同時也希望大家多多支持丸趣 TV，關注丸趣 TV 行業資訊頻道，更多相關知識等著你來學習!
