美文网首页
GreenDao使用经验分享-数据库无损升级

GreenDao使用经验分享-数据库无损升级

作者: 小智在不在 | 来源:发表于2017-04-23 01:50 被阅读0次

    因为Greendao的高性能以及ORM框架的特点许多项目都是用了Greendao做为数据库组件,不仅提升了开发效率并且使很多程序员摆脱了枯燥的SQL语句(包括我),这个框架也是非常受欢迎的,但是我在使用过程中也发现了这个框架的一些不足

    1. 不支持线程回调
    2. 不支持默认数据类型

    这两点基本上是我使用这个ORM数据库框架碰到的最失望的问题了,但是因为项目之前使用的就是该框架且不已我的意志为转移的情况下只能继续使用,并且在我这一段时间的使用中对这个框架也有一些经验和想法分享出来希望能帮到大家,我来说一下针对这两个问题有些什么方法

    线程回调问题

    这个问题不是这篇文章的重点,实际上我也没有实际解决这个问题,但是有一些见解,如果是我们自己手动为项目编写数据库组件的花一般都会遵循经验讲数据库操作放在子线程中进行并添加回调,但是遗憾的是Greendao项目组可能出于对该组件效率的自信并没有这么做(事实也证明Greendao确实是所有ORM框架中效率最高的),但是 我们还是有这个需求的,比如笔者的项目中就有需求是直接从服务器获取上万条数据然后插入到本地或者直接从本地获取上万条数据(此处只想吐槽产品经理的脑回路),这个时候如果在UI线程插入或读取虽然相对来讲其实也还算快,但用户总归是会感觉到卡顿(大概一到两秒,视实际机器性能不定),这总归是很不爽的,且不被接受,存在ANR的风险

    ANR.jpg

    但是如果直接使用Greendao提供的异步方法我们又不知道何时插入完成,何时更新UI(这就很尴尬了),我们团队的解决方案是牺牲部分用户体验后台控制数据分批传送,当然,这其实是不得以的鸵鸟做法,正确的做法是:研究一下Greendao的源码并添加回调接口,当然这可能需要的不止一点时间,而且一般项目很少存在我这种一次性操作上万条数据的情况,如果有,且在你们的项目还没有上马Greendao的情况下,赶紧弃暗投明 如果已经上马 趁项目崩溃前跑路吧


    项目崩溃前跑路.gif

    看到这里不要崩溃,开玩笑的,事情当然没有那么严重,问题是可以解决的,我们大可以在外部包裹线程实现GreenDao的异步调用,无论是AsyncTask还是自己实现一个线程异步类,查询时开启一个线程,查询结果出来后再回调到主线程即可,工作量也不大,不过还是觉得GreenDao能提供的话还是要方便很多

    当然也可以向大家介绍一款国产ORM数据库框架LitePay,由国内Android开发大神郭霖开源,在最近最新的一版更新中该框架已支持异步回调,当然,对于Greendao的异步本文不再多讲,毕竟本文最关心的另一个问题

    数据库升级问题

    在项目中我们总会由各种各样的问题需要对原有数据进行升级例如增加新的字段,但是有的时候我们可能需又可能需要保留原来的数据,在这里我不得不羡慕我的项目中负责另外的模块的伙伴,他们的数据不仅能从服务器获取且数据量极小,每次删除后都可以从服务器重新获取,根本不用担心保留数据的问题,所以他们一般采用直接删除旧表再创建新表的方法应对数据库版本升级,有点小羡慕

    简单粗暴的升级方法.png

    但是 这种方式毕竟过于简单粗暴且不够优雅,最重要的是并不适合我的模块,我一开始的思路是先取出数据保留再内存中,然后将旧数据通过添加新字段默认值的方式升级为新表适用的数据,然后删除旧表,创建新标,将转换后的数据插入到新表中,但是不知道为什么这种方式看似没毛病(肯定有毛病)但是每次都会报错(报错信息没保留下来),不得已只能寻找另外别的方法,找来找去,发现有一种方法是通过升级时创建一个临时表将数据保留下来,然后进行表的升级再,再将数据转移到新表中来实现的,这种方式和我的做法其实有点象,但可能考虑得比我多,不是将数据留在内存中,而且经过实测实际有用,我将代码贴出来大家可以方便取用

    
    import android.database.Cursor;
    import android.database.sqlite.SQLiteDatabase;
    import android.text.TextUtils;
    
    import com.oppo.community.util.LogUtil;
    
    import java.util.ArrayList;
    import java.util.Arrays;
    import java.util.List;
    
    import de.greenrobot.dao.AbstractDao;
    import de.greenrobot.dao.internal.DaoConfig;
    
    public class MigrationHelper {
        private static final String CONVERSION_CLASS_NOT_FOUND_EXCEPTION = "MIGRATION HELPER - CLASS DOESN'T MATCH WITH THE CURRENT PARAMETERS";
        private static MigrationHelper instance;
    
        public static MigrationHelper getInstance() {
            if (instance == null) {
                instance = new MigrationHelper();
            }
            return instance;
        }
    
        private static List<String> getColumns(SQLiteDatabase db, String tableName) {
            List<String> columns = new ArrayList<>();
            Cursor cursor = null;
            try {
                cursor = db.rawQuery("SELECT * FROM " + tableName + " limit 1", null);
                if (cursor != null) {
                    columns = new ArrayList<>(Arrays.asList(cursor.getColumnNames()));
                }
            } catch (Exception e) {
                LogUtil.d(tableName, e.getMessage());
                e.printStackTrace();
            } finally {
                if (cursor != null)
                    cursor.close();
            }
            return columns;
        }
    
        public void migrate(SQLiteDatabase db, Class<? extends AbstractDao<?, ?>>... daoClasses) {
            generateTempTables(db, daoClasses);
            DaoMaster.dropAllTables(db, true);
            DaoMaster.createAllTables(db, false);
            restoreData(db, daoClasses);
        }
    
        private void generateTempTables(SQLiteDatabase db, Class<? extends AbstractDao<?, ?>>... daoClasses) {
            for (int i = 0; i < daoClasses.length; i++) {
                DaoConfig daoConfig = new DaoConfig(db, daoClasses[i]);
    
                String divider = "";
                String tableName = daoConfig.tablename;
                String tempTableName = daoConfig.tablename.concat("_TEMP");
                ArrayList<String> properties = new ArrayList<>();
    
                StringBuilder createTableStringBuilder = new StringBuilder();
    
                createTableStringBuilder.append("CREATE TABLE ").append(tempTableName).append(" (");
    
                for (int j = 0; j < daoConfig.properties.length; j++) {
                    String columnName = daoConfig.properties[j].columnName;
    
                    if (getColumns(db, tableName).contains(columnName)) {
                        properties.add(columnName);
    
                        String type = null;
    
                        try {
                            type = getTypeByClass(daoConfig.properties[j].type);
                        } catch (Exception exception) {
                            exception.printStackTrace();
                        }
    
                        createTableStringBuilder.append(divider).append(columnName).append(" ").append(type);
    
                        if (daoConfig.properties[j].primaryKey) {
                            createTableStringBuilder.append(" PRIMARY KEY");
                        }
    
                        divider = ",";
                    }
                }
                createTableStringBuilder.append(");");
                LogUtil.d("lxq", "创建临时表的SQL语句: " + createTableStringBuilder.toString());
                db.execSQL(createTableStringBuilder.toString());
    
                StringBuilder insertTableStringBuilder = new StringBuilder();
    
                insertTableStringBuilder.append("INSERT INTO ").append(tempTableName).append(" (");
                insertTableStringBuilder.append(TextUtils.join(",", properties));
                insertTableStringBuilder.append(") SELECT ");
                insertTableStringBuilder.append(TextUtils.join(",", properties));
                insertTableStringBuilder.append(" FROM ").append(tableName).append(";");
                LogUtil.d("lxq", "在临时表插入数据的SQL语句:" + insertTableStringBuilder.toString());
                db.execSQL(insertTableStringBuilder.toString());
            }
        }
    
        private void restoreData(SQLiteDatabase db, Class<? extends AbstractDao<?, ?>>... daoClasses) {
            for (int i = 0; i < daoClasses.length; i++) {
                DaoConfig daoConfig = new DaoConfig(db, daoClasses[i]);
    
                String tableName = daoConfig.tablename;
                String tempTableName = daoConfig.tablename.concat("_TEMP");
                ArrayList<String> properties = new ArrayList();
                ArrayList<String> propertiesQuery = new ArrayList();
                for (int j = 0; j < daoConfig.properties.length; j++) {
                    String columnName = daoConfig.properties[j].columnName;
    
                    if (getColumns(db, tempTableName).contains(columnName)) {
                        properties.add(columnName);
                        propertiesQuery.add(columnName);
                    } else {
                        try {
                            if (getTypeByClass(daoConfig.properties[j].type).equals("INTEGER")) {
                                propertiesQuery.add("0 as " + columnName);
                                properties.add(columnName);
                            }
                        } catch (Exception e) {
                            e.printStackTrace();
                        }
                    }
                }
    
                StringBuilder insertTableStringBuilder = new StringBuilder();
    
                insertTableStringBuilder.append("INSERT INTO ").append(tableName).append(" (");
                insertTableStringBuilder.append(TextUtils.join(",", properties));
                insertTableStringBuilder.append(") SELECT ");
                insertTableStringBuilder.append(TextUtils.join(",", propertiesQuery));
                insertTableStringBuilder.append(" FROM ").append(tempTableName).append(";");
    
                StringBuilder dropTableStringBuilder = new StringBuilder();
    
                dropTableStringBuilder.append("DROP TABLE ").append(tempTableName);
                LogUtil.d("lxq", "插入正式表的SQL语句:" + insertTableStringBuilder.toString());
                LogUtil.d("lxq", "销毁临时表的SQL语句:" + dropTableStringBuilder.toString());
                db.execSQL(insertTableStringBuilder.toString());
                db.execSQL(dropTableStringBuilder.toString());
            }
        }
    
        private String getTypeByClass(Class<?> type) throws Exception {
            if (type.equals(String.class)) {
                return "TEXT";
            }
            if (type.equals(Long.class) || type.equals(Integer.class) || type.equals(long.class) || type.equals(int.class)) {
                return "INTEGER";
            }
            if (type.equals(Boolean.class) || type.equals(boolean.class)) {
                return "BOOLEAN";
            }
    
            Exception exception = new Exception(CONVERSION_CLASS_NOT_FOUND_EXCEPTION.concat(" - Class: ").concat(type.toString()));
            exception.printStackTrace();
            throw exception;
        }
    }
    
    

    注意代码没有加锁(其实这个太大必要),然后取用也十分简单,只需要到自己实现的继承了DaoMaster.OpenHelper的实现类中的onUpgrade()方法中调用这句代码即可

    
    MigrationHelper.getInstance().migrate(db, PrivateMsgNoticeDao.class);
    
    

    示例如下:

    升级调用.png

    值得注意的是方法中第二个参数是一个可变参数,再这一个升级中可以填入多个我们需要升级数据表的实体类的Dao类,如:

    
    MigrationHelper.getInstance().migrate(db, TestDao1.class, TestDao2.class);
    
    

    这样依赖我们可以一行代码完成所有数据表的无损升级,是不是感觉非常方便,但是这里也有一个问题,就是上面提到的,Greendao不支持默认数据,如果不赋值,那么在表中的字段都为null,也就是说我们升级之后的新表中从旧表转移过去的数据新增的那个字段都为null,更坑爹的是因为每次实体类都需要手动生成,所以我们也不太可能去实体类中设置默认值,即使设置默认值最后也还是会为null,因为从数据库中读取时会将null设置进该字段而覆盖默认值,最后取到的还是null,所以我们需要在接下来的调用中对该实体类对象字段的使用谨慎地判空,我就被坑过,而且实在代码被提交测试之后才发现的,这也是我不推荐使用Greendao的原因之一,greendao的团队太过傲娇,居然连默认数据这么重要的API都不提供

    2017-08-15更新

    上面的方法在实际生产中被验证可以解决问题,但存在缺陷:每次都要将需要保留的数据添加进migrate()方法中,即使没有升级数据表的Dao类,因为操作中会将添加进去的表备份然后删除所有的表,再将所有的备份过的表恢复,长此以往要保留的数据表多了自然会有影响,且可能引发未知问题,替代解决方案请参考文尾--另外的解决方案

    另外的解决办法

    我没有试过这个方法,是我想过的方案之一,但没有尝试,思路是在数据库升级时调用SQL语句为目标表动态创建一列数据,为此我特意问过我们数据组的同事,他告诉我是可以的,我查了一下SQL代码如下(2017-08-15更新:经过实际验证方法可行)

    
    alter table table_name add column (字段名 字段类型); ----此方法带括号指定字段插入的位置:
    
    

    实际代码的方法封装如下:

    
            /**
             * 升级数据库时动态插入一列
             *
             * @param db             数据库实体
             * @param tabName        要操作的表名  如UserInfo
             * @param columnName     要生成的列名  如UserId
             * @param columnNameType 字段类型      如integer
             */
            private static void insertColumn(SQLiteDatabase db, String tabName, String columnName, String columnNameType) {
                db.execSQL("alter table \"" + tabName + "\" add column \"" + columnName + "\" " + columnNameType);
            }
    
    

    也可以在插入新字段时指定字段位置,如插入于某字段之前,SQL代码如下

    
    alter table table_name add column 字段名 字段类型 after 某字段;--这个方法就不知道要不要带括号了
    
    

    当然这个方法我也没有尝试是否有用,只是我的想法,有需求或有兴趣的同学也可以去试一下(2017-08-15更新:实测可用)

    这些就是我遇到的问题以及解决办法,也希望能帮到有需要的同学,最后 程序员的命也是命 不要熬夜早点睡么么哒~

    相关文章

      网友评论

          本文标题:GreenDao使用经验分享-数据库无损升级

          本文链接:https://www.haomeiwen.com/subject/fhvdzttx.html