springboot2 + mybatis +phoenix +

作者: 阿波罗程序猿 | 来源:发表于2019-04-26 14:46 被阅读2次

准备

确保 hadoop hbase tephra都已经开启。tephra开启phoenix支持事务。
CREATE SCHEMA SVD_PIC 创建SCHEMA
create table SVD_PIC.PIC (id varchar not null primary key, file VARBINARY) TRANSACTIONAL=true创建表

踩坑

开启phoenix事务支持，SCHEMA支持
在hbase中的hbase-site.xml加入以下代码段。需要在项目中resources文件夹下加入hbase-site.xml文件，服务端也要加入。客户端驱动包也要加入该文件。不然数据源链接时会报错。

    <!-- 开启phoenix事务支持 -->
    <property>
        <name>phoenix.transactions.enabled</name>
        <value>true</value>
    </property>

    <!-- 存储tx状态的快照目录 -->
    <property>
        <name>data.tx.snapshot.dir</name>
        <value>/tmp/tephra/snapshots</value>
    </property>

    <!-- 事务超时时间 -->
    <property>
        <name>data.tx.timeout</name>
        <value>60</value>
    </property>
    <property>
        <name>phoenix.schema.isNamespaceMappingEnabled</name>
        <value>true</value>
    </property>
    <property>
        <name>phoenix.schema.mapSystemTablesToNamespace</name>
        <value>true</value>
    </property>

在intellij idea中创建链接phoenix数据源
第一步

driver files 添加 phoenix-4.14.1-HBase-1.4-client.jar 该 jar包来自 phoenix 发布包中
需要在 phoenix-4.14.1-HBase-1.4-client.jar 中添加刚修改过的 hbase-site.xml因为 client 包是一个集成包，里面的 hbase-site.xml 是默认的，刚加入的启用事务支持，SCHEMA支持需要同步hbase-site.xml 文件。不然会报错。
添加 url 和 driver
jdbc:phoenix:10.211.55.4:2181;schema=SVD_PIC 2181是 zookeeper的端口。10.211.55.4 ip为集群机器 ip，我配的是伪分布式，所以只有一个ip。ip 可以替换成对应的 host
查询 phoneix

解决关于springboot2 + phoenix + swagger2 中包冲突的问题。先上解决后的文件。

buildscript {
   repositories {
       maven {
           url "https://plugins.gradle.org/m2/"
       }
   }
   dependencies {
       classpath "gradle.plugin.com.arenagod.gradle:mybatis-generator-plugin:1.4"
   }
}

plugins {
   id 'org.springframework.boot' version '2.1.4.RELEASE'
   id 'java'
}



apply plugin: 'io.spring.dependency-management'

group = 'com.bd'
version = '0.0.1-SNAPSHOT'
sourceCompatibility = '1.8'

repositories {
   mavenCentral()
}

dependencies {
   // spring
   compile('org.springframework.boot:spring-boot-starter-aop')
   compile('org.springframework.boot:spring-boot-starter-data-rest')
   compile('org.springframework.boot:spring-boot-starter-validation')
   compile('org.springframework.boot:spring-boot-starter-web')
   compile('org.mybatis.spring.boot:mybatis-spring-boot-starter:2.0.1')
   testImplementation 'org.springframework.boot:spring-boot-starter-test'

   // 数据库连接池
   compile('com.alibaba:druid-spring-boot-starter:1.1.16')
   
   // io 包
   compile('commons-io:commons-io:2.6')
   
   // phoenix
   compile('org.apache.phoenix:phoenix-core:4.14.1-HBase-1.4') {
       // 排除这三个包，跟 spring 包有冲突
       exclude group: 'org.slf4j', module: 'slf4j-log4j12'
       exclude group: 'tomcat', module: 'jasper-runtime'
       exclude group: 'log4j', module: 'log4j'
   }

   compile('io.springfox:springfox-swagger2:2.0.1')
   compile('io.springfox:springfox-swagger-ui:2.0.1')

   compile group: 'com.google.code.gson', name: 'gson', version: '2.8.5'
   compile group: 'log4j', name: 'log4j', version: '1.2.17'
   compile group: 'com.google.guava', name: 'guava', version: '16.0'
}

apply plugin: "com.arenagod.gradle.MybatisGenerator"

configurations {
   mybatisGenerator
}

mybatisGenerator {
   verbose = true
   configFile = 'src/main/resources/generator.xml'
}

phoenix-core 包中与 springboot 的日志、tomcat 包冲突排除这三个包的引用
高版本的swagger2中引用高版本的guava包，该包在phoenix-core中也有引用低版本的guava包，gradle会替换低版本的guava包。但是phoenix-core使用一些guava低版本提供的api在高版本中被移除。所以启动时会报错。这里我把swagger2的版本降低到最低，同时又把guava指定到16版本，问题解决。

要使phoenix支持事务，需要在服务端开启tephra start。我服务端跑着一台乌班图的虚拟机。开启tephra start后，通过jps可以看到TransactionServiceMain进程。还可以查看日志，日志文件在tmp文件夹中自己找吧。
jps

使用 mybatis generator 生成 sql、model、mapper

具体怎么操作这里我就不说了。

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE generatorConfiguration
        PUBLIC "-//mybatis.org//DTD MyBatis Generator Configuration 1.0//EN"
        "http://mybatis.org/dtd/mybatis-generator-config_1_0.dtd">
<!-- 配置生成器 -->
<generatorConfiguration>
  <classPathEntry location="/Users/zhangbo/Documents/ideaProject/dbDriver/phoenix-4.14.1-HBase-1.4-client.jar" />

  <context id="DB2Tables" defaultModelType="flat" targetRuntime="MyBatis3">

    <!-- 自动识别数据库关键字，默认false，如果设置为true，根据SqlReservedWords中定义的关键字列表；
        一般保留默认值，遇到数据库关键字（Java关键字），使用columnOverride覆盖
     -->
    <property name="autoDelimitKeywords" value="false"/>
    <!-- 生成的Java文件的编码 -->
    <property name="javaFileEncoding" value="UTF-8"/>
    <!-- 格式化java代码 -->
    <property name="javaFormatter" value="org.mybatis.generator.api.dom.DefaultJavaFormatter"/>
    <!-- 格式化XML代码 -->
    <property name="xmlFormatter" value="org.mybatis.generator.api.dom.DefaultXmlFormatter"/>
    <!-- beginningDelimiter和endingDelimiter：指明数据库的用于标记数据库对象名的符号，比如ORACLE就是双引号，MYSQL默认是`反引号； -->
    <property name="beginningDelimiter" value="`"/>
    <property name="endingDelimiter" value="`"/>

    <!--自动实现Serializable接口-->
    <plugin type="org.mybatis.generator.plugins.SerializablePlugin" />

    <!--必须有，否则会生成很多注释-->
    <commentGenerator>
      <property name="suppressDate" value="true"/>
      <property name="suppressAllComments" value="true"/>
    </commentGenerator>

    <jdbcConnection driverClass="org.apache.phoenix.jdbc.PhoenixDriver"
                    connectionURL="jdbc:phoenix:10.211.55.4:2181;schema=SVD_PIC">
    </jdbcConnection>
    <!-- java类型处理器
        用于处理DB中的类型到Java中的类型，默认使用JavaTypeResolverDefaultImpl；
        注意一点，默认会先尝试使用Integer，Long，Short等来对应DECIMAL和 NUMERIC数据类型；
    -->
    <!--<javaTypeResolver type="org.mybatis.generator.internal.type.JavaTypeResolverDefaultImpl">-->
      <!--&lt;!&ndash;-->
          <!--true：使用BigDecimal对应DECIMAL和 NUMERIC数据类型-->
          <!--false：默认,-->
              <!--scale>0;length>18：使用BigDecimal;-->
              <!--scale=0;length[10,18]：使用Long；-->
              <!--scale=0;length[5,9]：使用Integer；-->
              <!--scale=0;length<5：使用Short；-->
       <!--&ndash;&gt;-->
      <!--<property name="forceBigDecimals" value="false"/>-->
    <!--</javaTypeResolver>-->

    <javaModelGenerator targetPackage="com.bd.springphoenixhbase.pic.model" targetProject="src/main/java">
      <property name="enableSubPackages" value="true"/>
      <!-- 设置是否在getter方法中，对String类型字段调用trim()方法 -->
      <property name="trimStrings" value="true"/>
    </javaModelGenerator>

    <sqlMapGenerator targetPackage="/" targetProject="src/main/resources/mapper">
      <!-- 在targetPackage的基础上，根据数据库的schema再生成一层package，最终生成的类放在这个package下，默认为false -->
      <property name="enableSubPackages" value="true"/>
    </sqlMapGenerator>

    <javaClientGenerator targetPackage="com.bd.springphoenixhbase.pic.mapper" type="XMLMAPPER" targetProject="src/main/java">
      <property name="enableSubPackages" value="true"/>
    </javaClientGenerator>

    <!-- 选择一个table来生成相关文件，可以有一个或多个table，必须要有table元素
        选择的table会生成一下文件：
        1，SQL map文件
        2，生成一个主键类；
        3，除了BLOB和主键的其他字段的类；
        4，包含BLOB的类；
        5，一个用户生成动态查询的条件类（selectByExample, deleteByExample），可选；
        6，Mapper接口（可选）

        tableName（必要）：要生成对象的表名；
        注意：大小写敏感问题。正常情况下，MBG会自动的去识别数据库标识符的大小写敏感度，在一般情况下，MBG会
            根据设置的schema，catalog或tablename去查询数据表，按照下面的流程：
            1，如果schema，catalog或tablename中有空格，那么设置的是什么格式，就精确的使用指定的大小写格式去查询；
            2，否则，如果数据库的标识符使用大写的，那么MBG自动把表名变成大写再查找；
            3，否则，如果数据库的标识符使用小写的，那么MBG自动把表名变成小写再查找；
            4，否则，使用指定的大小写格式查询；
        另外的，如果在创建表的时候，使用的""把数据库对象规定大小写，就算数据库标识符是使用的大写，在这种情况下也会使用给定的大小写来创建表名；
        这个时候，请设置delimitIdentifiers="true"即可保留大小写格式；

        可选：
        1，schema：数据库的schema；
        2，catalog：数据库的catalog；
        3，alias：为数据表设置的别名，如果设置了alias，那么生成的所有的SELECT SQL语句中，列名会变成：alias_actualColumnName
        4，domainObjectName：生成的domain类的名字，如果不设置，直接使用表名作为domain类的名字；可以设置为somepck.domainName，那么会自动把domainName类再放到somepck包里面；
        5，enableInsert（默认true）：指定是否生成insert语句；
        6，enableSelectByPrimaryKey（默认true）：指定是否生成按照主键查询对象的语句（就是getById或get）；
        7，enableSelectByExample（默认true）：MyBatis3Simple为false，指定是否生成动态查询语句；
        8，enableUpdateByPrimaryKey（默认true）：指定是否生成按照主键修改对象的语句（即update)；
        9，enableDeleteByPrimaryKey（默认true）：指定是否生成按照主键删除对象的语句（即delete）；
        10，enableDeleteByExample（默认true）：MyBatis3Simple为false，指定是否生成动态删除语句；
        11，enableCountByExample（默认true）：MyBatis3Simple为false，指定是否生成动态查询总条数语句（用于分页的总条数查询）；
        12，enableUpdateByExample（默认true）：MyBatis3Simple为false，指定是否生成动态修改语句（只修改对象中不为空的属性）；
        13，modelType：参考context元素的defaultModelType，相当于覆盖；
        14，delimitIdentifiers：参考tableName的解释，注意，默认的delimitIdentifiers是双引号，如果类似MYSQL这样的数据库，使用的是`（反引号，那么还需要设置context的beginningDelimiter和endingDelimiter属性）
        15，delimitAllColumns：设置是否所有生成的SQL中的列名都使用标识符引起来。默认为false，delimitIdentifiers参考context的属性

        注意，table里面很多参数都是对javaModelGenerator，context等元素的默认属性的一个复写；
     -->

    <table schema="SVD_PIC" tableName="PIC"
           domainObjectName="Pic"
           enableCountByExample="false"
           enableUpdateByExample="false"
           enableDeleteByExample="false"
           enableSelectByExample="false"
           enableUpdateByPrimaryKey="false"

    >
      <!--<generatedKey column="id" sqlStatement="JDBC"/>-->
    </table>

  </context>

</generatorConfiguration>

这里有

完整示例代码

springboot2 + mybatis +phoenix +

准备

踩坑

使用 mybatis generator 生成 sql、model、mapper

这里有

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

大数据

大数据，机器学习，人工智能