Oracle Kafka 测试环境搭建

zb1481207860565 发布于 2017/02/03 08:37
阅读 15
收藏 0

搭建一个 Oracle + Oracle Golden Gate + Kafka Connector 测试环境 ,把类似的oracle的增删改操作发布到Kafka上。所有工具都是有现成的。

类似于这个: 

https://www.pythian.com/blog/goldengate-12-2-big-data-adapters-part-3-kafka/   


需要做的工作是:

1) 安装Oracle(基于Linux)

2) 安装Oracle Golden Gate for BigData

3) 配置Kafka Adapter  for Golden Gate,把来自Oracle的DML消息(增删改操作)发布到Kafka。

4) 提供一个简单的Oracle SQL脚本来执行以下操作(模拟增删改):

        Insert 5个用户(user_id, username, age, email, create_date),

       为其中2个用户 update email 地址

       删除一个用户

5)提供一个Kafka Cosumer来打印出发布到Kafka的DML消息

我会提供Kafka的docker实例用于测试。


交付要求:

     1)环境首选是基于Docker并提供Dockerfile source

     2)如果做不到Dockerize,则在一个Linux 上完成所有安装并提供详细安装步骤文档

     3)发布到Kafka 的消息应该按照所附的JSON数据格式 

     4)验证方式为:

             -  docker启动测试环境

              - 对Oracle执行SQL脚本来模拟5个insert,2个update,1个delete

              - 使用一个kafka 的consumer 脚本程序可以读出上述8个事件,事件数据参照文末JSON格式


技术需求  

- 精通或者熟练以下技术:Oracle,OGG,Kafka,Docker 



{

"topic" : "oracle.inventory.products_on_hand",

"timestamp" : NumberLong("1486049918528"),

"offset": 1,

"value" : {

"payload" : {

"source" : {

"server_id" : 0,

"name" : "oracle",

"pos" : 154,

"snapshot" : true,

"ts_sec" : 0,

"gtid" : null,

"row" : 0

},

"ts_ms" : NumberLong("1486049916960"),

"after" : {

"user_id": 101,

"username" : "john",

"age": 25,

"email": "john@163.com"

},

"op" : "c",    // c: create, u: update, d: delete

"before" : null   // if update, "before" should contain the data before the update. 

}

加载中
返回顶部
顶部