美文网首页
SQLite学习八、TEXT类型读取超过2M的字符串

SQLite学习八、TEXT类型读取超过2M的字符串

作者: 沐左 | 来源:发表于2019-07-23 14:47 被阅读0次

    TEXT类型读取超过2M的字符串的时候报错

    Couldn't read row 0, col 0 from CursorWindow.  Make sure the Cursor is initialized correctly before accessing data from it.
    
    • 关于SQLite 不同类型存储数据大小的限制

    1、CHAR。CHAR存储定长数据很方便,CHAR字段上的索引效率级高,比如定义char(10),那么不论你存储的数据是否达到了10个字节,都要占去10个字节的空间,不足的自动用空格填充。

    2、VARCHAR。存储变长数据,但存储效率没有CHAR高。如果一个字段可能的值是不固定长度的,我们只知道它不可能超过10个字符,把它定义为 VARCHAR(10)是最合算的。VARCHAR类型的实际长度是它的值的实际长度+1。为什么“+1”呢?这一个字节用于保存实际使用了多大的长度。从空间上考虑,用varchar合适;从效率上考虑,用char合适,关键是根据实际情况找到权衡点。

    3、TEXT。text存储可变长度的非Unicode数据,最大长度为2^31-1(2,147,483,647)个字符。

    4、NCHAR、NVARCHAR、NTEXT。这三种从名字上看比前面三种多了个“N”。它表示存储的是Unicode数据类型的字符。我们知道字符中,英文字符只需要一个字节存储就足够了,但汉字众多,需要两个字节存储,英文与汉字同时存在时容易造成混乱,Unicode字符集就是为了解决字符集这种不兼容的问题而产生的,它所有的字符都用两个字节表示,即英文字符也是用两个字节表示。nchar、nvarchar的长度是在1到4000之间。和char、varchar比较起来,nchar、nvarchar则最多存储4000个字符,不论是英文还是汉字;而char、varchar最多能存储8000个英文,4000个汉字。可以看出使用nchar、nvarchar数据类型时不用担心输入的字符是英文还是汉字,较为方便,但在存储英文时数量上有些损失。


    问题

    理论上,TEXT可以存储的字符串长度为2^31-1(2,147,483,647)个字符,按英文字符来算的话就是 2G大小
    但是,Cursor 在获取超过2M 大小数据的时候,会报异常。

    所以处理方式用字符串截取的方式来处理

    select LENGTH(SHAPE)
    from SURVEY_RECORD
    where TBLX = 'SDDLTB' and  TBBH = '6950' ;
    
    select substr(SHAPE,0,1048576)
    from SURVEY_RECORD
    where TBLX = 'SDDLTB' and  TBBH = '6950' ;
    
    select substr(SHAPE,1048576,2097152)
    from SURVEY_RECORD
    where TBLX = 'SDDLTB' and  TBBH = '6950' ;
    

    使用到的函数的说明:

    substr(X,Y,Z) 返回输入字符串X中以第Y个字符开始,Z个字符长的子串。X最左端的字符序号为1。若Y为负,则从右至左数起

    代码中使用的方法

    public static String getShape(SupportSQLiteDatabase db, int srID) {
            Cursor c = null;
            //因为安卓性能特性,只能CursorWindow只能是1M的文件
            try {
                //先判断文件大小
                c = db.query("SELECT length(SHAPE) as len FROM SURVEY_RECORD WHERE _ID = " + srID);
                int len = 0;
                if (c.moveToFirst()) {
                    len = c.getInt(0);
                    if (c != null) {
                        c.close();
                    }
                    if (len < 100 * 10000) {
                        c = db.query("SELECT SHAPE FROM SURVEY_RECORD WHERE _ID = " + srID);
                        if (c.moveToNext()) {
                            return c.getString(c.getColumnIndex("SHAPE"));
                        }
                        if (c != null) {
                            c.close();
                        }
                    } else {
                        ByteBuffer buffer = ByteBuffer.allocate(len);
                        int count = 0, stemp = 600 * 1024;
                        while (count < len) {
                            if (count + stemp > len) {
                                stemp = len - count;
                            }
    
                            c = db.query("SELECT substr(SHAPE," + (count + 1) + "," + stemp + ") as SHAPE FROM  SURVEY_RECORD WHERE _ID = " + srID);
                            if (c.moveToNext()) {
                                byte[] temp = c.getBlob(c.getColumnIndex("SHAPE"));
                                byte[] bytes = new byte[stemp];
                                System.arraycopy(temp, 0, bytes, 0, bytes.length);
                                buffer.put(bytes);
                            }
                            if (c != null) {
                                c.close();
                            }
                            count += stemp;
                        }
                        return new String(buffer.array());
                    }
                }
            } finally {
                if (c != null) {
                    c.close();
                }
            }
            return "";
        }
    

    相关文章

      网友评论

          本文标题:SQLite学习八、TEXT类型读取超过2M的字符串

          本文链接:https://www.haomeiwen.com/subject/upjcgqtx.html