linkedin 的 databus 部署

1. 下载源码 复制 ojdbc.jar 到相应的文件夹

git clone  https://github.com/linkedin/databus/   

sandbox-repo/com/oracle/ojdbc6/11.2.0.2.0/ojdbc6-11.2.0.2.0.jar

2. 在 subprojects.gradle 中 加上

options.addStringOption('encoding', 'UTF-8')

最后的结果为

if (JavaVersion.current().isJava8Compatible()) {
    allprojects {
        tasks.withType(Javadoc) {
            options.addStringOption('Xdoclint:none', '-quiet')
            options.addStringOption('encoding', 'UTF-8')
        }
    }
}

3. 在 build.gradle 中加上

tasks.withType(JavaCompile) { options.encoding = "UTF-8" }

4. 在 com.linkedin.databus2.core.container.netty.ServerContainer 的 initializeContainerJmx() 方法中加上一句

LocateRegistry.createRegistry(_containerStaticConfig.getJmx().getRmiRegistryPort());

最后的结果为 (不然会报 Cannot bind to URL rmi://localhost:1099 ServiceUnavailableException )

protected void initializeContainerJmx() {
    if (_containerStaticConfig.getJmx().isRmiEnabled()) {
        try {
            JMXServiceURL jmxServiceUrl = new JMXServiceURL(
                    "service:jmx:rmi://" + _containerStaticConfig.getJmx().getJmxServiceHost() + ":"
                            + _containerStaticConfig.getJmx().getJmxServicePort() + "/jndi/rmi://"
                            + _containerStaticConfig.getJmx().getRmiRegistryHost() + ":"
                            + _containerStaticConfig.getJmx().getRmiRegistryPort() + "/jmxrmi"
                            + _containerStaticConfig.getJmx().getJmxServicePort());
          LocateRegistry.createRegistry(_containerStaticConfig.getJmx().getRmiRegistryPort());
            _jmxConnServer = JMXConnectorServerFactory.newJMXConnectorServer(jmxServiceUrl, null, getMbeanServer());
        } catch (Exception e) {
            LOG.warn("Unable to instantiate JMX server", e);
        }
    }
}

5. 修改 databus2-example-client-pkg/conf/client_person.properties (非必须)

databus.client.connectionDefaults.enablePullerMessageQueueLogging=false

不然 databus2-example-client-pkg 中的 databus2-client-person.out 日志文件会快速增长

6. 修改 oracle/bin/createUser.sh

sqlplus system/manager\@${DBNAME} as sysdba << __EOF__

改为自己的oracle管理员 用户名 密码
system为管理员用户名 manager为密码

7. 修改 databus2-example/database/person/tablespace (不改也没关系 下面的要一致 我是改成了 tbs_dbbus)

8. 修改 sources-person.json 改为

{
    "name": "person",
    "id": 1,
    "uri": "jdbc:oracle:thin:dbbus/dbbus@localhost:1521:orcl",
    "slowSourceQueryThreshold": 2000,
    "sources": [
        {
            "id": 101,
            "name": "com.linkedin.events.example.person.Person",
            "uri": "dbbus.person",
            "partitionFunction": "constant:1"
        }
    ]
}

9. 打包命令

gradle -Dopen_source=true assemble

生成的工程在 父项目的 build 目录下 (这一点gradle和maven不一样的 )

10. 运行 createUser.sh 新建oracle 用户 dbbus/dbbus 这里的　db_table_space 要与 第8步骤中 databus2-example/database/person/tablespace 里面内容一致

db_path 存放 oracle .dbf 文件的地方 如果不知道 find / -name '.dbf' 就可以找到路径了 乱写应该问题也不大(我没试过)

#createUser.sh db_username db_password db_id db_table_space db_path
sh createUser.sh dbbus dbbus orcl tbs_dbbus /home/u02/11g/dbs/

11.运行 createSchema.sh 在oracle中生成必要的 package table seq tigger Procedure 等

#createSchema.sh db_username/db_password@db_id tab_and_view_path
sh createSchema.sh dbbus/dbbus@orcl /home/yiwu/databus/databus2-example/database/person/

12. 生成 apache-avro 序列化文件

• 如 com.linkedin.events.example.person.Person.1.avsc com.linkedin.events.example.person.Person_V1.java
• 这步可以省略 官方的例子已经给你生成好了
• avroOutDir　javaOutDir　自定义　不需要太准确　生成好之后 拷贝到相应的目录就可以了

#create Avro records
sh dbus2-avro-schema-gen.sh -namespace com.linkedin.events.example.person -recordName Person -viewName "sy\$person" -avroOutDir /home/yiwu/dbtmp -avroOutVersion 1 -javaOutDir /home/yiwu/dbtmp -userName dbbus -password dbbus -database jdbc:oracle:thin:@127.0.0.1:1521:orcl

13. 运行 relay

#解压 
tar -zxvf build/databus2-example-relay-pkg/distributions/databus2-example-relay-pkg-2.0.0.tar.gz
#运行 
sh start-example-relay.sh person

14. 运行 client

#解压 
tar -zxvf build/databus2-example-client-pkg/distributions/databus2-example-client-pkg-2.0.0.tar.gz
#运行 
sh start-example-client.sh person 

15. 在oracle中执行insert语句

INSERT INTO person(id,first_name, last_name) VALUES(1,'balaji', 'varadaran');

就可以在 build/databus2-example-client-pkg/distributions/logs/client.log 中看到相应的记录了

2017-08-24 14:46:46,795 +752167 [callback-1] (INFO) {PersonConsumer} firstName: balaji, lastName: varadaran, birthDate: null, deleted: false

end